| author | ymh <ymh.work@gmail.com> |
| Wed, 05 Feb 2014 13:32:41 +0100 | |
| changeset 341 | 9b7682bc6f0c |
| parent 334 | 169b7cfd1f58 |
| permissions | -rw-r--r-- |
| 0 | 1 |
# -*- coding: utf-8 -*- |
| 334 | 2 |
# |
3 |
# Copyright Institut de Recherche et d'Innovation © 2014 |
|
4 |
# |
|
5 |
# contact@iri.centrepompidou.fr |
|
6 |
# |
|
7 |
# Ce code a été développé pour un premier usage dans JocondeLab, projet du |
|
8 |
# ministère de la culture et de la communication visant à expérimenter la |
|
9 |
# recherche sémantique dans la base Joconde |
|
10 |
# (http://jocondelab.iri-research.org/). |
|
11 |
# |
|
12 |
# Ce logiciel est régi par la licence CeCILL-C soumise au droit français et |
|
13 |
# respectant les principes de diffusion des logiciels libres. Vous pouvez |
|
14 |
# utiliser, modifier et/ou redistribuer ce programme sous les conditions |
|
15 |
# de la licence CeCILL-C telle que diffusée par le CEA, le CNRS et l'INRIA |
|
16 |
# sur le site "http://www.cecill.info". |
|
17 |
# |
|
18 |
# En contrepartie de l'accessibilité au code source et des droits de copie, |
|
19 |
# de modification et de redistribution accordés par cette licence, il n'est |
|
20 |
# offert aux utilisateurs qu'une garantie limitée. Pour les mêmes raisons, |
|
21 |
# seule une responsabilité restreinte pèse sur l'auteur du programme, le |
|
22 |
# titulaire des droits patrimoniaux et les concédants successifs. |
|
23 |
# |
|
24 |
# A cet égard l'attention de l'utilisateur est attirée sur les risques |
|
25 |
# associés au chargement, à l'utilisation, à la modification et/ou au |
|
26 |
# développement et à la reproduction du logiciel par l'utilisateur étant |
|
27 |
# donné sa spécificité de logiciel libre, qui peut le rendre complexe à |
|
28 |
# manipuler et qui le réserve donc à des développeurs et des professionnels |
|
29 |
# avertis possédant des connaissances informatiques approfondies. Les |
|
30 |
# utilisateurs sont donc invités à charger et tester l'adéquation du |
|
31 |
# logiciel à leurs besoins dans des conditions permettant d'assurer la |
|
32 |
# sécurité de leurs systèmes et ou de leurs données et, plus généralement, |
|
33 |
# à l'utiliser et l'exploiter dans les mêmes conditions de sécurité. |
|
34 |
# |
|
35 |
# Le fait que vous puissiez accéder à cet en-tête signifie que vous avez |
|
36 |
# pris connaissance de la licence CeCILL-C, et que vous en avez accepté les |
|
37 |
# termes. |
|
38 |
# |
|
| 0 | 39 |
''' |
40 |
Created on Jun 10, 2013 |
|
41 |
||
42 |
@author: ymh |
|
43 |
''' |
|
| 33 | 44 |
from .models import TermLabel |
| 0 | 45 |
from dateutil import parser |
46 |
import re |
|
|
34
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
47 |
from core.models.notice import NoticeImage |
| 0 | 48 |
|
49 |
class ImportProcessor(object): |
|
50 |
||
51 |
def __init__(self, field): |
|
52 |
self.field = field |
|
53 |
||
54 |
def process(self, obj, value): |
|
55 |
return {} |
|
56 |
||
57 |
||
58 |
class CharFieldProcessor(ImportProcessor): |
|
59 |
||
60 |
def process(self, obj, value): |
|
61 |
setattr(obj, self.field, value) |
|
62 |
return {} |
|
63 |
||
| 28 | 64 |
class TrimCharFieldProcessor(CharFieldProcessor): |
65 |
||
66 |
def process(self, obj, value): |
|
67 |
return super(TrimCharFieldProcessor, self).process(obj, value.strip()) |
|
68 |
||
| 0 | 69 |
class BooleanFieldProcessor(ImportProcessor): |
70 |
||
71 |
def process(self, obj, value): |
|
72 |
setattr(obj, self.field, value and value.strip().lower() in ['oui', '1', 't', 'yes', 'y', 'o']) |
|
73 |
||
74 |
class DateFieldProcessor(ImportProcessor): |
|
75 |
||
76 |
def process(self, obj, value): |
|
| 28 | 77 |
setattr(obj, self.field, parser.parse(value) if value else None) |
|
34
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
78 |
|
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
79 |
class VideoFieldProcessor(ImportProcessor): |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
80 |
|
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
81 |
def process(self, obj, value): |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
82 |
res = {} |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
83 |
images_str = getattr(obj, self.field, None) |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
84 |
if not images_str: |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
85 |
return res |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
86 |
for image_path in [path.strip() for path in images_str.split(";")]: |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
87 |
if not image_path: |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
88 |
continue |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
89 |
if not NoticeImage.objects.filter(relative_url=image_path, notice=obj).exists(): |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
90 |
res.setdefault(NoticeImage,[]).append(NoticeImage(relative_url=image_path, notice=obj)) |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
91 |
return res |
| 0 | 92 |
|
93 |
class TermProcessor(ImportProcessor): |
|
94 |
||
| 28 | 95 |
def __init__(self, field, context, notice_term_klass, re_split = r"[\;\,\:\(\)]", re_sub = "\(.+?\)"): |
| 0 | 96 |
ImportProcessor.__init__(self, field) |
| 28 | 97 |
self.re_split = re.compile(re_split) |
98 |
self.re_sub = re.compile(re_sub) if re_sub else None |
|
| 0 | 99 |
self.context = context |
100 |
self.notice_term_klass = notice_term_klass |
|
101 |
||
102 |
def build_notice_term(self, token, obj): |
|
| 33 | 103 |
|
104 |
termlabels = list(TermLabel.objects.filter(label=token, term__thesaurus__uri=self.context).select_related()) |
|
105 |
if termlabels: |
|
106 |
term_obj = termlabels[0].term |
|
107 |
if not self.notice_term_klass.objects.filter(notice=obj,term=term_obj).exists(): |
|
108 |
return self.notice_term_klass(notice=obj,term=term_obj) |
|
109 |
else: |
|
110 |
return None |
|
111 |
else: |
|
112 |
return None |
|
| 0 | 113 |
|
114 |
def process(self, obj, value): |
|
115 |
res = {} |
|
116 |
#remove everything between () |
|
117 |
value = getattr(obj, self.field) |
|
|
34
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
118 |
if not value : |
|
b1fd0e0197c8
add image field processing; correct csv import
ymh <ymh.work@gmail.com>
parents:
33
diff
changeset
|
119 |
return res |
| 0 | 120 |
if self.re_sub: |
| 28 | 121 |
value = self.re_sub.sub("", value) |
122 |
for token in self.re_split.split(value): |
|
| 0 | 123 |
token = token.strip() |
124 |
nt = self.build_notice_term(token, obj) |
|
125 |
if nt is not None: |
|
126 |
res.setdefault(self.notice_term_klass,[]).append(nt) |
|
127 |
return res |