src/hdalab/README.txt
author cavaliet
Fri, 11 Jul 2014 16:49:14 +0200
changeset 292 f6742c41d7a3
parent 272 1c774f7a0341
child 355 5d6d75e21634
permissions -rw-r--r--
user form management with django registration

== Inclusion géographique ==

La migration 0007_geographic_inclusion crée les tables nécessaires

Pour récupérer les informations d'inclusion géographique de DBpedia (nécessite le package python SparqlWrapper)
    python manage.py query_geo_inclusion

== Traitement du fichier countries.geo.json ==

Le fichier a été téléchargé sur https://github.com/johan/world.geo.json/
Afin de faire correspondre les labels des pays aux tags sémantisés, on applique le script
    python manage.py geojson_transform <chemin/nom_du_fichier.geo.json>
pour rajouter ces informations dans le fichier

== Import des données Insee ==

La migration 0008_datasheet_insee crée les tables nécessaires

Il faut d'abord importer les fichiers donnant les coordonnées géographiques par code Insee dans la base.
Le fichier data/villes.csv a été téléchargé sur http://www.pillot.fr/cartographe/fic_villes.php
Il manque dans ce fichier quelques villes et les codes INSEE pour Paris, Marseille et Lyon n'incluent pas les arrondissements
Les communes manquantes se trouvent dans additional_cities.csv
Pour importer chacun de ces fichiers :
    python manage.py import_insee_csv <chemin/nom_du_fichier.csv>

Il faut ensuite importer les fichiers donnant la correspondance entre notices HDA (référencées par leur identifiant hda_id) et codes INSEE
Celles-ci sont fournies dans un fichier Excel donné par Bertrand, que j'ai converti en CSV et corrigé. Il s'agit de data/hda_insee.csv
Pour importer ce fichier:
    python manage.py import_insee_hda_csv <chemin/nom_du_fichier.csv>
    
    
=== Migration hdabo -> hdalab ===

0) appliquer les migrations south
1) lancement de la commande query_wikipedia_category
2) lancement de la commande fill_tag_years
3) lancement de la commande query_wikipedia
4) lancement de la commande query_geo_inclusion
5) lancement de la commande geo_json_transform
6) lancement de la commande import_insee_csv
7) lancement de la commande import_hda_insee_csv
8) lancement de la commande query_category_inclusion

Toutes ces actions sont echaînées dans la commande import_hdabo_db