Suite

Exécution de la pile de serveurs CartoDB ?


Nous essayons de télécharger et d'exécuter la pile CartoDB sur une instance Ubuntu Amazon EC2 dédiée uniquement pour cela. Nous avons donc commencé à partir d'une installation de système d'exploitation simple.

Nous avons parcouru le fichier README d'installation/configuration (https://github.com/CartoDB/cartodb) et avons parcouru la plupart sans trop de problème. Mais quand vient le temps de trouver comment Cours la chose, nous sommes perdus. Le fichier readme ne semble même pas expliquer comment vous êtes censé exécuter la pile perpétuellement en tant que service, ou même en tant que composants séparés côte à côte.

Le plus proche, cela semble venir, c'est de suggérer un contremaître, mais même cela est arrivé à un groupe compliqué **** de problèmes de dépendance où je ne peux même pas l'ajouter au paquet de gemmes comme décrit (et cela n'aide aucun de nous avoir une expérience Ruby)

Avez-vous des indications pour savoir où aller à partir d'ici ?

Même Google me fait totalement défaut à ce stade.


README est principalement orienté vers la mise en place d'un environnement de développement. Foreman est juste une aide pour exécuter tous les services dont vous avez besoin dans la même fenêtre sans avoir plusieurs terminaux.

Si vous souhaitez exécuter les services en permanence, je vous suggère d'exécuter tous les services en tant que démons.

Vous pouvez vérifier le Procfile à la racine du référentiel cartodb et vous trouverez les commandes que Foreman démarre vraiment.

Vous avez deux options :

  1. La manière sale consiste à exécuter chaque commande dans un onglet screen/tmux et à se détacher
  2. La méthode la plus simple consiste à créer un script d'initialisation ubuntu upstart pour chaque service et à laisser upstart les exécuter.

Notez que le serveur redis doit être correctement configuré pour qu'il ait la persistance du disque.


Quel type de logiciel est utilisé par la communauté Open Data ?

Je suis un nouveau venu dans le monde de l'Open Data et j'aimerais savoir à quel type d'outils/logiciels on pourrait être confronté. Pas pour une tâche spécifique, mais surtout en général. Par example:

  1. Quels outils sont souvent utilisés quelle que soit la tâche ?
  2. Quels outils sont indispensables ?
  3. Est-il important de considérer le choix de l'OS ? Si oui, quelles sont les conséquences de travailler sur Mac OSx, Windows ou Linux ?

J'espérais une réponse comme celle-ci si possible.


La connexion err nette a expiré

J'ai Apache/2.2.22 sur Ubuntu 12.04. Apache est défini comme serveur proxy inverse. Ainsi, lorsqu'on y accède à partir d'un système distant, la page et le contenu sont affichés. Mais après un certain temps, le serveur semble refuser toute autre demande. La console du navigateur distant donne l'erreur "net :: ERR_CONNECTION_TIMED_OUT". Mais lorsque l'adresse IP de la machine distante change (à l'aide d'un dongle qui change l'adresse IP après chaque connexion/déconnexion), la page/le contenu s'affiche à nouveau. Mais les problèmes susmentionnés se reproduisent.

Leur est tomcat7 fonctionnant avec Apache. Tomcat sert la page jsf via le port 8080. Toutes les autres demandes sont gérées par Apache, proxy vers une machine virtuelle.

Dans le fichier apache2.conf, j'ai principalement regardé/modifié ces directives

également des directives VirtualHost similaires avec le port 8082, 8889 avec des paramètres similaires. Le "cartodb.user" a été ajouté dans le fichier /etc/hosts pour le rediriger vers la boîte virtuelle. Le pare-feu a également été désactivé pour la virtualbox. la boîte virtuelle a également Ubuntu 12.04.

Vérifié que les fichiers journaux Apache n'ont donné aucune erreur lorsque LogLevel est mis en débogage. Veuillez indiquer comment éviter cette situation


3 réponses 3

L'inclusion de balises libres, de sources libres et de données dans ce Q&A m'amène à penser :

    en tant que maître du logiciel-conseil et du logiciel avec peut-être une certaine désambiguïsation de ce dernier en premier. Ce nom de balise correspondra mieux au site Software Recommendations SE que nous pourrions également référencer dans son wiki de balise. as master to free après avoir désambiguïsé free data as master to free-sources (facile à créer via une fusion qui laisse ce dernier comme synonyme) (nouveau) pour essayer de commencer à distinguer les deux principales catégories de données que les gens recherchent ici.

La levée de l'ambiguïté des données dans le cadre de ce processus devrait aider plutôt qu'entraver toute décision future de la communauté de commencer à rediriger certaines/toutes les questions de données vers Open Data (Beta) SE.


Conférence GIS/LIS du Minnesota & Ateliers

Michael Moore et Andrew Walz de LuminFire sont présentés à la conférence #MNGISLIS à Duluth, MN en 2016 sur des sujets tels que JavaScript, MySQL et la stéréogrammétrie automatisée. Le thème de la conférence était « Votre destin géospatial ». Voici le scoop complet :

Une comparaison des modèles de surface dérivés du lidar et de la paire stéréo – Andy Walz
Jeudi 27 octobre 2016 de 11h00 à 11h30 (Séance numéro 8)
Chambre Supérieure Lac O

Comment un modèle de surface dérivé d'images de paires stéréo se compare-t-il à un DSM lidar ? Le lidar est rapidement devenu l'étalon-or pour les données d'altitude, mais vous pourriez être surpris de ce qui peut être accompli avec l'imagerie haute résolution et un logiciel de stéréogrammétrie automatisé comme Ames Stereo Pipeline. Les données Lidar deviennent moins chères et plus accessibles, mais elles ne sont tout simplement pas disponibles pour la majorité de notre planète. L'imagerie satellitaire, quant à elle, est collectée en permanence et, selon votre application, les images de paires stéréo pourraient bien être en mesure de répondre à vos besoins en données d'altitude.

L'objectif de ce projet était d'évaluer la viabilité de l'utilisation d'images de paires stéréo comme source de données pour les zones de modélisation où le lidar est insuffisant (terre nue uniquement, inexistante ou datée) pour une analyse complète. Nous parlerons des outils et des techniques disponibles pour la stéréogrammétrie automatisée, examinerons certaines visualisations de modèles et examinerons les différences découvertes entre les deux produits.

Pont de diapositives | Utilisation du pipeline stéréo Ames (ASP) avec les données DigitalGlobe

MySQL : la bonne base de données pour les SIG parfois – Michael Moore
Jeudi 27 octobre 2016 de 11h30 à 12h00 (Séance numéro 5)
Chambre Split Rock 2

MySQL n'est pas une base de données populaire pour une utilisation avec des données SIG. Il s'agit cependant de la base de données la plus populaire sur Internet. Au fur et à mesure que l'utilisation du SIG sur le Web continue de se développer, nous, en tant que professionnels du SIG, serons invités à nous intégrer à WordPress, Drupal et d'autres systèmes basés sur MySQL.

Est-il judicieux d'utiliser MySQL pour les données spatiales aujourd'hui ? La réponse est un « Peut-être » fort, avec une liste de contrôle des conditions et des mises en garde à examiner avant de dire « Oui ».

La principale raison d'envisager l'utilisation de MySQL est de permettre l'intégration spatiale avec un système non spatial existant. Si vous (ou un client) êtes déjà fortement investi dans une solution basée sur MySQL, le passage à une plate-forme alternative peut ne pas être pratique. Vous pouvez également éviter les frais généraux liés à l'exécution et à la gestion d'une deuxième base de données et les complexités liées à la gestion des relations entre les entrées des deux.

Dans cette présentation, nous allons (1) discuter des avantages et des inconvénients de l'utilisation de MySQL pour les données spatiales (2) parcourir quelques démonstrations simples qui présentent ses capacités et ses limites et (3) vous aider à déterminer si MySQL convient à vos projets.

L'herbe est plus verte avec Turf.js – Andy Walz
Jeudi 27 octobre 2016 à partir de 14h00 – 14h30 (Séance numéro 18)
Chambre Supérieure Lac O

Turf.js est une bibliothèque JavaScript open source pour l'analyse spatiale qui peut insuffler une nouvelle vie à vos cartes Web et transformer vos applications en de puissants systèmes d'information géographique. Turf.js regroupe les opérations spatiales traditionnelles, la classification des données et les outils statistiques (toutes les choses qui nécessitent généralement un géotraitement côté serveur) dans un plug-in côté client. Cela signifie que vous pouvez créer des cartes plus interactives et des applications SIG avec moins de frais généraux et de coûts.

Turf.js est étonnamment simple à comprendre. Il est composé de fonctions JavaScript modulaires qui parlent GeoJSON. Il existe 51 fonctions, notamment l'agrégation, le centroïde, la distance, l'intersection, la fusion, la simplification, l'union, l'étain, l'intérieur, la classification de jenks, etc. Turf.js est construit à l'aide des derniers algorithmes spatiaux et combiné au fait qu'aucune donnée n'a besoin de voyager vers et depuis un serveur, il est incroyablement rapide. Vous n'êtes pas sûr de tout traiter côté client ? Turf.js peut également s'exécuter côté serveur avec Node.js. Dans cette présentation, nous passerons en revue les fonctions couramment utilisées, montrerons comment utiliser la bibliothèque et examinerons quelques exemples de Turf.js en action.

Le SIG et WordPress peuvent-ils être amis ? – Michael Moore
Vendredi 28 octobre 2016 de 8h30 à 10h00 ( Session Numéro 25)
Chambre Split Rock 1

WordPress est un système de gestion de contenu (CMS) qui alimente 25% des sites Web sur Internet. Sa croissance est due en grande partie à sa facilité d'utilisation et à un écosystème de plugins florissant.

Malheureusement, la prise en charge des données et des opérations SIG fait cruellement défaut. Je pense que les frameworks populaires permettant la géolocalisation comme WordPress représentent le prochain grand domaine de croissance pour les SIG sur le Web. La création d'outils qui fonctionnent de la manière attendue par les administrateurs non SIG réduit la barrière à l'entrée dans le monde des SIG.

J'ai expérimenté différentes approches pour ajouter des fonctionnalités SIG réelles à WordPress, d'une manière conviviale pour les utilisateurs de WordPress. Les résultats des expériences réussies ont abouti à deux plugins WordPress gratuits, SavvyMapper et WP_GeoQuery.

SavvyMapper relie les données WordPress aux données SIG dans une source de données externe telle que CartoDB, ArcGIS Server ou un fichier GeoJSON externe.

WP_GeoQuery utilise le support spatial MySQL pour stocker la géométrie des entités directement dans la base de données MySQL.

Dans cette présentation, je discuterai plus en profondeur des résultats de mes expériences, montrerai les méthodes que j'ai utilisées et parlerai du statut et de l'avenir du SIG dans WordPress.


2 réponses 2

Le blog Stats original a été construit sur wordpress. j'ai aussi un perso libre blog wordpress qui s'adapte à tous vos besoins (et j'en suis content).

  • les images (à la fois svg et raster) peuvent être intégrées
  • vous pouvez écrire des formules en Latex et avoir des blocs de code, très similaires à ce site (via un type de démarque similaire ou éditer le html directement). Personnellement, j'écris des articles en démarques, puis j'utilise Pandoc pour convertir en html, puis je télécharge simplement le html sur le site en ligne.
  • les graphiques animés sont plus délicats - les GIF peuvent être intégrés de la même manière que les images. Vous pouvez également intégrer des éléments via des iframes (exemples d'auto-promotion, carte animée CartoDB, graphique de type bulle mobile Han's Rosling).
  • commentaires, avec un assez bon filtrage anti-spam d'après mon expérience

J'ai également décrit le mien comme un journal de nerd personnel. Si je finis par faire quelque chose plusieurs fois, j'écrirai un article de blog (et cela m'aidera à trouver du code/des exemples plus rapidement que de rechercher dans d'anciens fichiers).

La seule chose que je n'ai pas couverte était le cyrillique. Je suis personnellement ignorant de cet aspect, ainsi que du support UTF plus général. Il est probable que d'autres plates-formes répondent à ces mêmes besoins. Je suis satisfait de mon site wordpress gratuit, il nécessite peu d'entretien et a les fonctionnalités que je veux. Je ne peux pas dire grand-chose sur les autres concurrents.


1. Histoire

La première version de LandSerf a été écrite en 1996 en tant que plate-forme pour effectuer une analyse à l'échelle des modèles numériques d'élévation. Il a mis en œuvre l'idée de caractérisation de surface à plusieurs échelles proposée par Jo Wood, où des caractéristiques telles que la pente, la courbure et le type d'entité pourraient être mesurées sur une gamme d'échelles spatiales.

Les versions ultérieures du logiciel ont amélioré ses capacités de visualisation, par exemple, les survols 3D en temps réel utilisant OpenGL et la gamme de formats de fichiers qu'il peut importer et exporter. Avec l'ajout de la gestion des vecteurs 1998, des tables attributaires 2003 et de la superposition raster et vecteur 2004, LandSerf peut être considéré comme un exemple de système d'information géographique SIG.


Cityscope d'Édimbourg : Bonjour tout le monde !

Aujourd'hui, Nicola Osborne, blogue sur le Cityscope d'Édimbourg : Hello World ! événement, où les projets Engaging Edinburgh, financés par l'AHRC, seront présentés à un public invité d'acteurs et de partenaires de projet de l'Université et de la ville d'Édimbourg. Ces notes sont prises en direct, veuillez donc nous faire savoir si vous voyez des erreurs ou des corrections.

Edinburgh Cityscope – Hello World – Prof. Chris Speed, ECA

Le professeur Chris Speed ​​nous présente l'événement. Édimbourg est une ville vraiment unique à bien des égards. Nous cherchons à l'explorer à travers les données. Mais notre compréhension d'une ville, nos représentations de la ville nous donnent des compréhensions différentes de la ville. Pour montrer quelques introductions de la ville, des extraits de Wings of Desire ou de Lost in Translation résument ce genre d'introduction à la ville. Et c'est ce que Cityscope fait aujourd'hui, en introduisant de nombreuses manières différentes d'entrer dans la ville, les différents points de vue des parties prenantes sur la ville.

Nous commencerons par entendre certains de ces acteurs, projets, manières de voir la ville. Partageant leurs explorations de la ville.

Le professeur Chris Speed ​​présente l'événement Hello World Edinburgh CityScope –

Faire des données est vraiment important. Faire de la vie privée est très important. Faire des réseaux sociaux est important. Et nous avons toute une partie de la journée à explorer, à jouer, à essayer certaines de ces idées. Après cette partie de la journée, il y a la possibilité de revenir, de poser des questions, etc.

D'Édimbourg Cityscope à Édimbourg, Global City of Learning – Prof. Jonathan Silvertown, Sciences biologiques et Prof. Karen Forbes, ECA.Â

Chris : Edinburgh Cityscope, anciennement “Virtual Edinburgh” est une idée que je me sens privilégié de partager avec vous, un concept de la ville comme espace de partage de données, d'exploration de données, et aussi de collecte de données. Cela signifie que nous pouvons faire d'Édimbourg une ville mondiale de l'apprentissage. Il s'agit de nouveaux outils et approches. Mais l'idée n'est pas entièrement nouvelle et nous entendrons parler de trois projets faisant déjà ce genre de choses dans leur domaine : LitLong MESH et Curious Edinburgh. Chacun de ces projets a dû collecter des fonds de manière indépendante, persuader les gens de construire ces choses. L'espoir est qu'avec Cityscope, l'Université aura sa propre infrastructure, juste là pour être utilisée, pour ce genre de projets. Et ces projets sont un avant-goût de ce qui est possible et des données qui peuvent être combinées.

La professeure Karen Forbes parle du projet Edinburgh Cityscope lors de l'événement Hello World

Karen : Nous voyons cette idée du Cityscope d'Édimbourg d'avoir une pertinence à chaque étape, du premier cycle, du troisième cycle et du personnel et des chercheurs. Vous pouvez voir le potentiel du travail interdisciplinaire. Il y a un caractère très particulier à la ville, les différentes couches d'architecture, d'archéologie, d'idées, de culture et un maillage dense d'informations qui peuvent être explorées en tant que données, au fur et à mesure que les archives se recalent à la géographie de la ville. Nous souhaitons rendre ces données disponibles et en libre accès autant que possible. Nous voyons cela comme quelque chose de particulier à être à Édimbourg au 21ème siècle. Il fournira cette infrastructure qui permet très positivement cette utilisation et cette réutilisation des données. Ajouter à l'expérience étudiante de nouvelles façons passionnantes.

Nous avons un grand comité directeur en ce moment et nous sommes impatients de voir ce que nous pouvons faire ici. Nous voulons une représentation de tous les collèges, ainsi que de l'IS et de l'EDINA, et nous considérons cette contribution variée comme cruciale pour le projet.

Les écrous et boulons de Edinburgh Cityscope – Ben Butchart, EDINA

Tout d'abord, j'aimerais saluer le travail de mes collègues à ce sujet, Richard Goode d'IS Apps, et Ruben Gamez, EDINA.

Imaginez-vous face à un professeur, nouveau à l'Université, qui veut faire de la ville non seulement une « Ville d'apprentissage », mais une « Ville mondiale d'apprentissage ! Je pense que la plupart des ingénieurs courraient un kilomètre, mais nous sommes faits de poutres chez EDINA ! Donc, moi-même et Nicola Osborne d'EDINA avons été invités au comité de pilotage de ce projet alors qu'il commençait à prendre forme.

Moi-même et Richard Goode avons travaillé sur la portée technique de ces projets et sur ce dont ils pourraient avoir besoin, des moyens de créer des applications, des moyens de gérer les données et des moyens de travailler de manière créative. L'idée de base est que vous vous connectez à un plan de travail et que vous ayez vos propres composants avec lesquels jouer, qui vous donnent accès aux données, à la documentation, aux widgets pour jouer avec les données de différentes manières.

Ben Butchart parle des « écrous et boulons » du CityScope d'Édimbourg lors de l'événement Hello World

Juste pour vous donner un avant-goût. Nous ne lançons rien aujourd'hui, c'est plutôt une idée de ce sur quoi nous travaillons. Ainsi, si vous vous connectez à votre atelier Cityscope, vous pouvez utiliser Jupyter Notebooks pour explorer les données, pour coder votre propre interprétation, et nous utilisons des API et des requêtes pour importer des données ici. Pour ceux qui ne veulent pas toucher au dode, codez vous pouvez créer vos propres applications, par ex. comme vous pouvez le faire pour le projet Web de l'observatoire des citoyens COBWEB Curious Edinburgh, dont vous entendrez parler plus tard, est également une forme d'idée d'application pré-cuite - dans ce cas, utilisant WordPress pour créer une application de visite mobile. Nous examinons également des outils de création tiers comme AppGyver, qui vous permettent de créer vos propres applications.

En ce qui concerne les données, nous utilisons GitHub comme référentiel, un moyen de gérer et de contrôler les versions de ces données, de les rendre facilement accessibles aux développeurs, aux API, etc. Ce n'est pas un espace d'archivage, il s'agit de le faire données aussi accessibles que possible.

Lorsque nous avons commencé à parler de ce projet, le professeur Ewan Klein m'a parlé de JupyterHub –, ce sont comme des pages wiki mais elles sont exécutables, avec une prise en charge de plus de 40 langues, vous permettant de coder et de documenter au fur et à mesure, en utilisant les données idée scientifique d'un “récit de codage”. Je pense que les cahiers de calcul comme celui-ci seront une compétence essentielle pour les futurs diplômés. Et je pense que c'est formidable que Cityscope fournisse un serveur Notebooks dans le cadre de ce projet.

Le dernier composant est Mobile Backend en tant que service, utilisant Loopback, qui vous permet de créer une API dès le départ pour chaque ensemble de données, vous permettant d'alimenter immédiatement les données dans ces outils Maker.

Désormais, aucune présentation d'ingénieur ne serait complète sans un schéma en boîte et en ligne ! Si vous êtes un développeur de logiciels, vous allez adorer ce diagramme, plein de choses passionnantes ! Nous utilisons maintenant Docker et travaillons actuellement sur AWS, car cela nous permet d'expérimenter et de déployer des outils de manière élastique, mais tout est configuré. pour nous permettre de le porter sur un autre espace dans le futur, de l'héberger localement, etc.

Utiliser Edinburgh Cityscope pour engager l'université avec le public – Prof. Lesley McAra, School of Law

Les deux ambitions que nous devrions avoir : que nous mettions notre recherche et notre enseignement au service de nos communautés, en travaillant en collaboration pour produire un changement significatif et durable et une ambition pour les villes, qu'un diplôme d'Édimbourg suffise à les rendre employables et les diplômés enrichis – avec les connaissances, l'état d'esprit et les compétences de base que ce type de projet offre un espace à développer et à utiliser.

L'une des choses que nous voulons essayer de faire est d'avoir 100 projets d'étudiants, des projets de groupe avec des groupes multidisciplinaires, aux niveaux UG ou PG, peuvent réellement utiliser Cityscope au cours de l'année universitaire 2017/18 où ils utiliseront les données de Cityscope dans le cadre de leur apprendre, mais aussi créer et utiliser leurs propres recherches et alimenter Cityscope ou les combiner avec les données Cityscope. Il offre des possibilités d'apprentissage ouvert de formations courtes et de voies vers l'enseignement supérieur (étudiants en tant que tuteurs). Et il existe un énorme potentiel absolu pour utiliser les ensembles de données Cityscope pour montrer comment toute intervention dans la ville d'Édimbourg peut cartographier et suivre les changements, cartographier l'impact, évaluer le travail dans la ville.

Le professeur Lesley McAra parle de la cartographie des données lors de l'événement Edinburgh CityScope Hello World

Alors, je veux vous montrer une carte. Je dirige un projet longitudinal sur l'impact de la privation sociale sur la criminalité. J'ai un système SIG qui est utilisé dans ce domaine et je souhaite télécharger mes données à partir de celui-ci, les combiner et les mettre à jour à l'avenir pour suivre les changements au fil du temps. L'un des défis auxquels la ville dans son ensemble est confrontée est un regroupement dense de zones de privation sociale et de mauvais résultats (exclusions scolaires, rapports de police sur des crimes violents, détention, etc.) correspondent fortement à ceux-ci. Et le défi est de trouver des interventions qui changent réellement cela. Travailler avec le Conseil et d'autres intervenants pour essayer de faire une réelle différence. Il existe un lien étroit entre la pauvreté et les mauvais résultats et, en tant qu'université, je pense que nous devrions essayer de faire ce changement, en voyant ce qui fonctionne et change au fil du temps.

Maintenant, une citation rapide de Walter Scott – qui a un lien avec ce bâtiment (ECCI), car il y enseignait quand c'était le Royal High School :

« La race humaine périrait s'ils cessaient de s'entraider. Nous ne pouvons pas exister sans entraide. Tous ceux qui ont donc besoin d'aide ont le droit de la demander à leurs semblables et personne qui a le pouvoir de l'accorder ne peut la refuser sans culpabilité.

Et je dirais donc que personne qui a le pouvoir d'octroyer un financement et un soutien au Cityscope d'Edimbourg ne peut le refuser sans culpabilité !

Lit Long: Mapping Literary Edinburgh – Prof. James Loxley, Département d'anglais

Edimbourg est une ville littéraire consciente d'elle-même. Et nous voulions explorer au-delà des auteurs, les cafés qu'ils fréquentaient, etc., mais nous voulions explorer la ville imaginée, la ville de leur littérature et de leurs idées. Et nous voulions appliquer des techniques de calcul sur du matériel avec lequel nous sommes habitués à nous engager de manière purement humaine.

Nous avons identifié les textes appropriés, en vérifiant qu'ils étaient de la littérature plutôt que, par ex. poésie, puis les extraire de texte en termes de noms de lieux. Le projet s'appelait Palimpsest (2014-15) et cela a créé une ressource appelée LitLong. Nous avons un visualiseur de localisation en ligne, une base de données à rechercher et une application à découvrir dans la nature. Derrière cela, il y a une base de données de 47 000 extraits textuels, rassemblés en moins de 15 mois, et vous pouvez explorer tout cela dans notre session pratique.

Le professeur James Loxley parle de LitLong à l'événement Edinburgh Cityscope Hello World

Depuis que nous avons créé cette ressource, nous avons examiné ce que nous pouvons faire d'autre avec cette ressource. Et nous avons été très chanceux d'avoir reçu un financement de l'AHRC pour aller de l'avant, pour explorer l'utilisation de LitLong avec la communauté, avec les auteurs, etc. Et nous travaillons également en étroite collaboration avec le Edinburgh City of Literature Trust pour continuer avec cette. Alors venez jeter un coup d'œil pendant la session pratique et en savoir plus sur notre travail.

Cartographie de l'histoire sociale d'Édimbourg (MESH) - Prof. Richard Rodger, École d'histoire, de lettres classiques et d'archéologie

Je parlerai d'un projet lié à MESH, mais pour mettre cela dans son contexte, vous devez comprendre les deux choses clés que MESH a réalisées en tant que projet : capturer des données d'histoire sociale et créer une carte contemporaine sous-jacente riche et détaillée.

Au cours de MESH, l'équipe a créé Open Street Map avec un degré de détail énorme, la majorité de la ville étant désormais cartographiée à moins de 3 mètres, dans certains cas à 1 mètre de précision. Ceci est ouvertement disponible pour tout le monde, profitant à tous dans la ville. Cela a une valeur économique énorme – il existe des calculs de cet impact du gouvernement néerlandais pour montrer les avantages réels de ce niveau de détail.

Ainsi, avec cette cartographie contemporaine et historique, nous pouvons prendre une autre source de données – comme les répertoires des bureaux de poste écossais – et suivre les changements au fil du temps, par exemple les emplacements des bouchers à Édimbourg (voir image à suivre).

Le professeur Richard Rodger parle du projet MESH lors de l'événement Edinburgh Cityscope Hello World

Maintenant, Lost Edinburgh est une page Facebook que beaucoup d'entre nous connaissent et aiment certainement. Ce site capture les paysages urbains d'Édimbourg, la vie et l'histoire de la ville. Et au cours des trois derniers mois, Wilson Smith, de Lost Edinburgh, a travaillé avec Eric Grosso, le technicien ici, a créé de riches métadonnées pour les informations de Lost Edinburgh, afin qu'elles puissent être réutilisées et pour structurer ces données d'une manière qui peut continuer.

Avec ces métadonnées et les outils disponibles dans MESH qui enrichissent Lost Edinburgh en tant que ressource, et ce contenu enrichit notre compréhension de la ville. Il existe de nombreux autres types de jeux de données que nous pouvons utiliser via un outil de géocodage qui nous permettra d'explorer et de combiner des jeux de données. Et nous avons maintenant un outil puissant pour l'analyse historique.

Curious Edinburgh – Dr Niki Vermeulen & Dr Bill Jenkins, School of Social & Political Science

Niki : Curious Edinburgh est un projet de création d'un site Web et d'une application qui vous permet d'explorer l'histoire de la science à Édimbourg. Et cette tournée est basée sur une véritable tournée qui était donnée une fois par an par le professeur John Henry’s. Nous en faisons une ressource Web et téléphonique afin que vous puissiez faire cette visite à tout moment.

Niki Vermeulan parle de Curious Edinburgh lors de l'événement Edinburgh Cityscope Hello World

Bill : Je vais juste vous donner un aperçu rapide du contenu, qui explore des sites historiques et des personnages bien connus, tels que John Hutton. Certains contenus sont tirés de la tournée de John Henry, mais d'autres proviennent également de notre travail en partenariat avec les National Museums of Scotland, les Surgeons’ Hall Museums, la Royal Society of Edinburgh, etc. Je vais aussi jouer un extrait de la vidéo que nous avons inclus, tourné la dernière fois que John Henry a fait sa tournée en 2014. (Des extraits ont été affichés, des pages vues. Vous pouvez les explorer surcurieuxedimbourg.org)

Bill H. Jenkins parle de Curious Edinburgh lors de l'événement Edinburgh Cityscope Hello World

Niki : Notre espoir est donc de faire avancer les choses avec plus de tournées, plus d'histoires à explorer. Nous voyons ici des opportunités pour de futurs circuits autour de : géologie (contenu déjà prêt !), physique (contenu presque prêt), médecine, santé publique, biotechnologie, ingénierie, brassage de la bière, philosophie, sociologie, architecture, etc.

Et avec cela, Chris Speed ​​nous remet les mains sur une partie de la journée. Le blog se poursuivra lorsque nous reviendrons pour la plénière plus tard cet après-midi.

L'équipe de Curious Edinburgh présente son site Web et son application au principal Tim O’Shea lors de l'événement CityScope Hello World

Le projet MESH partage son travail avec Lost Edinburgh à Edinburgh CityScope – Hello World

L'équipe LitLong présente ses travaux les plus récents à Edinburgh Cityscope Hello World

Séance de visualisation pratique de Google Cardboard à Edinburgh Cityscope Hello World

L'équipe EDINA Geo montre comment les données peuvent être cartographiées à l'aide d'une gamme d'outils à Edinburgh Cityscope Hello World

L'équipe de développement de Cityscope présente les premiers prototypes et des outils standard lors de l'événement Cityscope Hello World d'Édimbourg

Séance de discussion

Chris : Donc, nous voulons conclure avec une discussion sur ce dont nous avons besoin, où sont les lacunes, où est le potentiel ?

Sally Kerr, Conseil municipal d'Édimbourg : Nous (Conseil municipal d'Édimbourg) avons des tonnes de données et de ressources du conseil. Nous avons des problèmes à résoudre, des données à mieux comprendre. Nous devrions travailler ensemble pour faire avancer cela, cela a une utilité pour vos recherches, et nous voulons travailler en partenariat, travailler en collaboration, voir ce qui peut être fait avec nos données. Venez nous demander !

Chris : Qu'est-ce qui a été bon ou utile aujourd'hui ?

Patricia Erskine, UoE : Je pense que c'est génial d'avoir tous ces partenaires ici et ce serait fantastique d'avoir un suivi jusqu'à aujourd'hui, sur les données disponibles, sur la façon de faire avancer les choses.

Jonathan : Oui. En ce moment nous travaillons sur les fondations de ce projet, nous voulons passer au travail dont parlait Lesley McAra, la preuve de concept à grande échelle avec 100 projets (2017/18). La prochaine étape après cela sera la version tout chantée, toute dansée de ceci, celle ouverte à tous. Et en effet, je tiens à remercier le directeur et les services d'information pour leur financement et leur soutien au projet jusqu'à présent et pour l'année à venir. Il faut alors réfléchir à la suite.

Chris : Qu'en est-il des autres applications et idées ?

Les participants s'engagent avec les divers outils et discussions à Edinburgh Cityscope Hello World

Ewan Klein, Informatics : Je suis curieux de savoir comment Cityscope se croise avec le projet MESH – Open Street Map est une infrastructure qui prend en charge la comparaison de données et d'informations.

Ben : Il est possible de combiner des données sous certaines formes. Ainsi, avec Cityscope pour iOS, il est logique d'utiliser le kit Apple Maps, le kit par défaut. Chez EDINA, nous avons tendance à pointer vers nos propres serveurs de cartographie ou OSM. Pour Cityscope, n'importe qui a la possibilité de lancer son propre serveur d'applications, en passant de tuiles à des cartes vectorielles en tuiles – ajoutez votre propre cartographie et style. Je serai vraiment intéressé dans le contexte de MESH pour examiner la technologie des tuiles vectorielles permettant aux étudiants et aux utilisateurs de cloner ces ensembles de données et de sélectionner les fonctionnalités pertinentes, qui peuvent être utilisées dans les cahiers, les outils de cartographie, le style CSS. C'est la conversation dont nous avons juste besoin pour discuter et définir des projets spécifiques. Il y a tellement de choses que nous pourrions faire, que c'est le défi de se concentrer sur ce qui est le plus important ou le plus visible.

Richard Rodger, HCA : Je pense que nous devons comprendre à quel point il s'agit d'un projet tourné vers l'extérieur et à quel point il est tourné vers l'intérieur. Nous devons planifier sur la base de cette compréhension. Et nous devons le tester avec de vrais utilisateurs. L'imagination est importante à ce stade, et ce dialogue avec les citoyens d'Édimbourg est central et crucial pour cela.

Tim O&8217Shea, Principal UoE : Je pense que la clarté de l'ambition en ce qui concerne la communauté et l'ambition serait utile. La communauté est probablement toute personne qui a accès à un ordinateur ou à un téléphone mobile, quelles données sont pertinentes et de portée, puis la troisième partie concerne le projet App Inventor que j'ai vu sur MIT – qui est un outil assez restrictif sur les données restrictives &# 8211 alors à quel point êtes-vous ambitieux en termes de ce qui peut être combiné et construit. Pour tous ceux qui viennent à Édimbourg pour créer l'application de leur choix sur la ville, c'est très ambitieux, peut-être trop ambitieux. Mais il est important d'avoir de la clarté pour ces trois domaines.

Jonathan : Nous sommes assez ambitieux en ce moment, vers l'extrémité supérieure de ce spectre. Nous avons essayé AppGyver, qui est basé sur le framework Ionic qui est également utilisé par le MIT, et nous essayons AppGyver en ce moment, mais en payant des frais élevés pour le faire maintenant. Au moment où nous serons prêts à nous ouvrir au monde, je pense qu'il y aura un équivalent open source pour créer beaucoup plus de choses, car idéalement, nous voulons que quiconque fasse n'importe quoi avec nos données, avec les données OSM, etc.

Ben B : Nous avons déjà fait une innovation où pouvoir utiliser un blog, vous permet de créer une application. Il existe déjà des outils que nous avons, que nous pouvons utiliser, que nous avons testés et qui utilisent des outils simples et familiers. Une autre approche est les outils de type AppGyver - c'est impressionnant en tant que fonctionnalité.

Peter Burnhill, EDINA : Notre approche, généralement avec le travail mobile, a été de permettre aux chemins de créer une application, de créer ce dont ils ont besoin. Richard a parlé d'ouverture, mais parfois il y a nécessité de restrictions en raison de la confidentialité ou des licences et il faut s'attaquer à cela, ainsi qu'aux défis qui s'y rattachent. Ce sont de vraies choses à affronter.

Sally K : Au Conseil, nous essayons de penser à l'innovation numérique et de penser au-delà : il existe une application pour cela et de nous concentrer plutôt sur les problèmes à résoudre et sur des ensembles d'outils pour essayer des choses, pour voir ce qui fonctionne et ce qui ne fonctionne pas. Les applications ne seront pas là pour toujours, nous devons penser à la pérennité. You need to think about scaling and future proofing, and offering more for 3 years, for 5 years.

Jonathan: Indeed, and that’s part of why Cityscope is an infrastructure. You need a safe place for data, tools to manipulate that data, and that top layer for creating and using data – which is where we are using some third party and initial ideas there.

Tim O’Shea: I think it may not be possible to be future proof but the closest we can be is being ahead of other people – and that’s what Edinburgh University is good at doing. There’s some fabulous work here already, but that’s what we need to do here, to keep ahead of others’.

Jonathan: And Edinburgh is in a unique position here, we have a rich history to draw upon here.

Richard R: And that spatial aspect is absolutely central to all of these ideas, that data, the issues that Sally is raising. And the quality of the underlying mapping is crucial.

Chris: We have to be aware that people move at different paces – some of what is happening now seems to reflect what we could do with iPhone 3S – so we have to anticipate that, what is coming and what will be important.

Ewan K: I think if students are collecting data then we need to think about the use and reuse of data – how that is licensed etc. There is a position that all citizen data must be open data, and I think that has some merit. But also it’s not clear how we best support students in collecting, storing and sharing data that is not open.

Ben B: I wanted to come back to Sally’s comment that mobile apps aren’t necessarily the key things in the future. It’s easy to build an app that won’t be used. But there is the idea of using bots that lets you use existing app, to bring back a relevant data set. That means less friction, and again that’s something we’d like to explore.

Eric Grosso: We need our systems to be sustainable and robust, where databases and services can be hosted, so we can make this space for experimentation and more geospatial projects like this.

Chris: I suspect there is a way to think about sharing data, combining data and building connections.

Jonathan Silvertown and Chris Speed lead discussions after the hands on session at Edinburgh Cityscope – Hello World

Thank you so much for this. We have our website, edinburghcityscope.org, and that’s another way to explore and continue. And do email and tweet us your ideas and input.

And with that we move into the wine reception for the AHRC Engaging Edinburgh projects, and the close to the event. Thanks to all who have joined us in person, on the blog, or on Twitter. We welcome your comments and ideas on the Engaging Edinburgh projects, or indeed on CityScope – which we will pass onto our colleagues there. Do leave comments below, tweet the projects or CityScope (@embracityscope).


10 Answers 10

Flowing data regularly discusses the tools that he uses. See, for instance:

He also shows in great detail how he makes graphics on occasion, such as:

There are also other questions on this site:

  1. R and ggplot2: this is a good introductory video, but the ggplot2 website has lots of resources.
  2. Processing: plenty of good tutorials on the homepage.
  3. Protovis: also a plethora of great examples on the homepage.

You can use Adobe afterwards to clean these up.

You can also look at the R webvis package, although it isn't as complete as ggplot2 . From R, you can run this command to see the Playfair's Wheat example:

Lastly, my favorite commercial applications for interactive visualization are:

Already mentioned processing has a nice set of books available. See: 1, 2, 3, 4, 5, 6, 7

You will find lots of stuff on the web to help you start with R. As next step then ggplot2 has excellent web documentation. I also found Hadley's book very helpful.

Python might be another way to go. Especially with tools like:

All projects are well documented on the web. You might also consider peeking into some books.

Lastly, Graphics of Large Datasets book could be also some help.

You'll spend a lot of time getting up to speed with R.

RapidMiner is free and open source and graphical, and has plenty of good visualizations, and you can export them.

If you have money to spare, or are a university staff/student then JMP is also very freaking nice. It can make some very pretty graphs, very very easily. Can export to flash or PNG or PDF or what have you.

Another good alternative is the protovis library http://vis.stanford.edu/protovis/

It is a very well crafted JavaScript library that can create some beautiful visualizations if you have the time and ability to write the modest amount of JavaScript code needed.

I also highly recommend Tableau http://www.tableausoftware.com. It is great for rapidly exploring data sets and creating many different visualizations.

Both products have roots at the Stanford Visualization Group.

Many excellent answers have been given here, and the languages/libraries you choose to learn will be dependent on the type of visualization you would like to do.

However, if you use Python regularly then I highly recommend seaborn. It is very sophisticated when it comes to statistical data visualization, but also looks quite sophisticated from a presentation standpoint.

Let's take an example. Suppose you are trying to plot electricity consumption for a commercial building by month. A simple line graph could be generated in matplotlib for this purpose.

However, if we wanted to make the visualization more sophisticated and informative, we could generate a heatmap with seaborn:

A heatmap is just one example. Some other common uses with seaborn include:


Matthew Baker: “Breaking free from a traditional set of tools is a relief and a challenge”

Matthew Baker

Matthew Baker has been in the geospatial industry for 10 years, having studied in Windsor, Ontario and Lawrencetown, Nova Scotia Canada before working at an Urban Planning firm in Ontario, then on to Esri in Redlands, CA. Matt is now the Sr. GIS Analyst at Denver Public Schools, a position which supports the District’s planning and analysis of students, schools and boundaries, as well as delivery of spatial data to the enterprise student information system.

Matthew was interviewed for GeoHipster by Katrina Engelsted.

Q: You work for Denver Public Schools. What are you all working on? Why do you use maps?

A: As I write this the 2015-16 school year is starting up. We’re tracking enrollments and looking at how neighborhoods in Denver are changing. Soon we’ll have our annual enrollment count that get submitted to the State, and there will be a flurry of analysis that will go along with it that will support the decisions the District will make going into the years ahead.

We use maps to communicate the state of the District to everyone from the Superintendent and the Board of Education through to the Principals of schools throughout the District and parents of students in the schools. We publish maps online for the community to use, we create mailing lists and canvassing maps for our community outreach team, as well as maps used at community meetings around the City to drive discussion on boundary changes our maps go into the yearly Strategic Regional Analysis, and we’re constantly creating one-off maps for quick-turnaround analysis that comes from senior administration.

Q: What are some lessons you have learned along the way when developing systems for DPS?

A: Working in a relational database system you learn a LOT about real data very quickly, such as what primary keys are for, how spatial indices are built, how joins really work, and most importantly you don’t have to cram all possible information about your spatial data into one table.

When I started at DPS, my first task was to re-build the ArcSDE. I quickly realized, however, that our student enterprise is based in SQL Server, and there is a lot of data that will never live in a geodatabase. Additionally our analysts were already using heavy-duty SQL for their analysis, which almost always had a spatial component, and since the spatial data lived with one person — the ‘GIS’ person — there was always a wall.

So using PostGIS as a guide, I developed a native SQL server spatial environment bringing in our data from ArcSDE, and connected and delivered spatial data to the enterprise. I taught our analysts how SQL spatial functions work, and we finally had spatial analysis tools we could all use.

Q: What is your technology stack?

A: We’ve been using ArcSDE for spatial data editing and ArcMap for cartography, MS SQL Server for spatial analysis and reporting, and FME to bridge the gap between the two formats. The spatial database really works for us, but there are huge glaring holes.

So we spent the majority of this past summer building an open source version of this stack: we dissected our current workflows, outlined strategies for implementing FOSS4G, and identified areas we’d have roadblocks. We then set up a PostgreSQL database server, enabled PostGIS, loaded our core spatial data and some other enterprise tables, and we’ve been hitting it hard with no sign of looking back, using QGIS for cartography and data editing, SQL to analyze and build spatial datasets, and we’re getting into pgRouting to better analyze student distance calculations. The benefits of PostgreSQL as a central database are a big deal for us, and integrating other tools like PGModeler, LibreOffice, and CartoDB, and of course open source operating systems like Ubuntu and Mint are all icing on the cake.

Q: What you envision for the future of curriculum for geography students?

A: I really have no idea what digital geography is being taught at the K-12 level, if any, and I frankly don’t believe Kindergarten students should be “doing GIS”– contrary to a lot of marketing emails I get.

However, at the post-secondary level, everyone in Denver is ready for a new way of learning about spatial data. There is the FOSS4G Lab at UC Denver that I’ve been participating in, and I really see their work as an important step forward into building new tools into digital spatial learning and beyond. And we’ve got a great monthly meetup to learn from each other.

Q: You worked at Esri for a bit? What were you doing there and what did you get out of it?

A: I lived in Mojave in a Winnebago, got slobberin’ drunk at the Palomino, and got 6 years in San Ber’Dino… I’m talking about The Red Lands! Well I spent those years learning as much as I could about as much as I could, focussing at work on urban planning applications of GIS, and at home on cooking and vegetable gardening. And since I was doing so much cycling there, I met a group of local bike commuters. We created the Redlands Bike BBQ (with @geogangster), got a covered secure bike parking facility built at Esri, and I’m told we were instrumental in the implementation of the new bike lane system in Redlands. My best friend was a 65-year old ex-surfer, ex-forest service fire-fighter, ex-high school teacher who gave me tours of the area no import to Redlands ever receives, and no matter what dusty corner of the Inland Empire we’d visit, we’d always run into one of his former students…

Q: What did you study at university? How did you find yourself in the geospatial world?

A: At University I went back and forth between geography and communication studies, eventually getting my degree in Communications and a Minor in Geography. I then took a year at the Center of Geographic Sciences in Lawrencetown, Nova Scotia (aka COGS). Since geography was always my favourite subject growing up, and since I have media in my blood (both parents are retired from the CBC), I had a eureka moment when I created my first PDF map! Communications and Geography! Now what to do with it…

Q: You are married to a fellow cartographer. First of all, how did you two meet? How does it feel to be a geo-power couple? How often do you “talk shop”?

A: Mamata and I met in Redlands at a bike rack and both seemed to have a shared philosophy of temporary life in SoCal — she is from Northern California, so we never understood watering lawns at 3pm in July when it was 110F and hasn’t rained in 4 months. Hand-in-hand we both kept one foot out the door, and when the time came, we got ourselves to Denver. I’d say we’re a geo-power couple, but really after a few words about work when we get home, it’s time for dinner and the usual tasks of a married couple. I’m super proud of what she’s done and where she is and looking forward to what comes next for both of us both on and off the field…

Q: What is the biggest challenge you see in the geospatial field?

A: Breaking free from a traditional set of tools is a relief and a challenge. There is so much information out there on Twitter, blogs, etc., and it’s tough to navigate all off it let alone decide what tools you should use to fit your organization, and then you’ve got to think about how those tools will be supported. Then there is the challenge of breaking the old “GIS” way of thinking, that one application can solve all your problems… as we say around the office, we’ve got to think outside the Arc…

Q: How would you describe the Denver mapping community?

A: From what I can tell, Denver has been an ‘oil and gas’ mapping community for a long time. But with all the new companies and people coming into town, all looking to get spatial going in their organizations, there is a growing community of GeoHipsters, and it’s definitely the next place I see things really popping up for the industry.

Q: What skill is on your list to master next?

A: Open source ETL tools still evade me, and we have a need for a rigorous geocoder, but I haven’t cracked that open yet.

Q: Which do you prefer when it comes to maps?

  • Data or design
    • Data — however, the medium is the message…
    • Functional tools should just BE beautiful
    • Historique
    • Markers
    • Heat maps
    • Huh?
    • GéoServeur

    Q: … and one more, what do you do in your free time — that makes you a geohipster? Collect antiques? Ride Denver buses? Drink beer? Cycle around town?

    A: I used to be a bike commuter, but finally got so fed up with other cyclists blasting through stop signs and red lights, texting while riding, all of it with no helmet, no gears, no brakes (organ donors), I finally said enough and got on the bus. Now I read a lot and chat with people and do a lot more walking, and now as a pedestrian I find great amusement in blocking the route of cyclists running red lights and exchanging middle-fingers.

    I go to one brewery and they do English-style cask-conditioned ales, I brew half-decaf store-bought coffee in an auto-drip (or percolator) and sometimes re-heat it on the stove the next day if no one drinks it. I don’t eat meat (it’s just not healthy, people), but I’m not a vegan (I do love honey and my leather boots).

    Q: Any closing comments for the GeoHipster readers?

    A: Reading all these tweets and blog posts it’s like we’re at war — from both sides of the open source paradigm. One side seems to want to destroy the other without knowing what they really do and why, while the other side will tell you they support these new tools and companies then turn around and try to buy them up or confuse the education with marketing materials. Swearing and being snarky in your tweets or calling yourself open source because you have a GitHub account is divisive, deceptive, and distracting. I am the user, and frankly I don’t want to support either of you. Like Nathan said, get a hobby!


    Voir la vidéo: La chine accusé responsable de la cyberattaque des serveurs Microsoft Exchange (Octobre 2021).