Conjunto ab6d14b en modelado_topicos

Fecha y hora:

29/06/2016 11:49:10 (hace 8 años)

Autor:

Jorge Redondo Flames <jredondo@…>

Branches:

preprocesamiento

Parents:

b503c14

Mensaje:

Primera corrida con corpus de medios

Ficheros:

• django_topic_explorer/settings.py (modificado) (1 diferencia)
• topic_explorer/views.py (modificado) (1 diferencia)
• utils/freeling.py (modificado) (2 diferencias)

django_topic_explorer/settings.py

@@ -102 +102 @@
 
 ### TOPIC EXPLORER SETTINGS (medios)
-#FILES_PATH = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/medios/noaccent'
-#LDA_DATA_PATH = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/lda-blei/lda-c-dist/medios{0}/'
-#LDA_CORPUS_FILE = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/medios/lda/corpus.dat'
-#LDA_VOCAB_FILE = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/medios/lda/vocab.txt'
-#LDA_CORPUS_DIR = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/medios/pp'
+FILES_PATH = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/medios_13_06_2016/todos/pp'
+LDA_DATA_PATH = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/lda-blei/lda-c-dist/medios_digitales_{0}/'
+LDA_CORPUS_FILE = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/medios_13_06_2016/todos/lda/corpus.dat'
+LDA_VOCAB_FILE = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/medios_13_06_2016/todos/lda/vocab.txt'
+LDA_CORPUS_DIR = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/medios_13_06_2016/todos/pp'
 
 ### TOPIC EXPLORER SETTINGS (patria)
-FILES_PATH = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/corpus_propuestas/noaccent'
-LDA_DATA_PATH = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/lda-blei/lda-c-dist/patria{0}/'
-LDA_CORPUS_FILE = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/corpus_propuestas/lda/corpus.dat'
-LDA_VOCAB_FILE = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/corpus_propuestas/lda/vocab.txt'
-LDA_CORPUS_DIR = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/corpus_propuestas/pp'
+#FILES_PATH = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/corpus_propuestas/noaccent'
+#LDA_DATA_PATH = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/lda-blei/lda-c-dist/patria{0}/'
+#LDA_CORPUS_FILE = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/corpus_propuestas/lda/corpus.dat'
+#LDA_VOCAB_FILE = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/corpus_propuestas/lda/vocab.txt'
+#LDA_CORPUS_DIR = '/home/jredondo/Proyectos/Analisis_del_Discurso/src/data/corpus_propuestas/pp'
 
 
 CONTEXT_TYPE = 'document'
-TOPICS = '10, 20, 30, 40, 50, 60, 70, 80, 90'
+TOPICS = '5, 10, 20, 30, 40, 50, 60, 70, 80, 90'
 CORPUS_NAME = 'Deafult'
 ICONS = 'link'

topic_explorer/views.py

@@ -53 +53 @@
 
 # Integración LDA-c topic_explorer
-lda_c,lda_m = corpus_model(30,LDA_DATA_PATH.format(30),
+lda_c,lda_m = corpus_model(10,LDA_DATA_PATH.format(10),
                            LDA_CORPUS_FILE,
                            LDA_VOCAB_FILE,

utils/freeling.py

@@ -103 +103 @@
         try:
             #w = item.split(' ')[0].strip(' *+.,?¿!¡":;-=/$@#“”()[]{}')
+            # Lista de verbos principales sin carga semántica
+            verbs_list = ['existir','hacer','deber','tener']
+            corpus_verbs = []
+            corpus_verbs_nouns = ['poder']
+
+            # Fuera los verbos auxiliares y semiauxiliares:
+            if item.split(' ')[2].startswith('VA') or item.split(' ')[2].startswith('VS') or item.split(' ')[1] in verbs_list :
+                continue;
             # Escoger original o raíz
             w = item.split(' ')[1]
@@ -188 +196 @@
     files_to_lower(path_orig,lower_corpus_path)
  
-    file_words_pp,corpus_words = preprocess(lower_corpus_path,do_fl=True) 
+    file_words_pp,corpus_words = preprocess(lower_corpus_path,do_fl=False) 
 
     # Plan de la patria
-    exclude_words = ['descripcion','justificacion','construccion','desarrollo','comunidad','comunal','proyecto','prueblo','desarrollar','mismo','nacional','pueblo','sistema','produccion']
-    #exclude_words = [u'tener',u'mismo',u'informo',u'indico',u'aseguro',u'anuncio',u'afirmo',u'sido',u'dia',u'dias',u'dijo',u'presidente',u'gobierno',u'solo',u'parte',u'asimismo',u'asi',u'via',u'debe',u'segun',u'estamos',u'esta',u'estan',u'este',u'estos',u'mas',u'pais',u'años',u'año',u'ahora',u'tener',u'tiene',u'tienen',u'tuvo',u'tendria',u'tendrian',u'hace',u'hizo',u'habia',u'habian',u'hacer',u'haber',u'ahora',u'nuevo',u'aun',u'puede',u'casi',u'forma',u'tambien',u'ademas',u'dejar',u'admitio',u'actual',u'persona',u'personas',u'mejor',u'entonces',u'pueden',u'podrian',u'pudieran',u'grupo',u'mes',u'meses',u'momento','momentos',u'manera',u'maneras',u'señalo',u'estuvo',u'estuvieron',u'agrego','estado','particular','aqui','pase','paso','podra','dejo','foto','cerca','caso','gran','grandes','nueva','nunca','nacional','venezuela','informacion','pueblo','señala','estados','pueblo']
+    #exclude_words = ['descripcion','justificacion','construccion','desarrollo','comunidad','comunal','proyecto','prueblo','desarrollar','mismo','nacional','pueblo','sistema','produccion']
+    exclude_words = [u'tener',u'mismo',u'informo',u'indico',u'aseguro',u'anuncio',u'afirmo',u'sido',u'dia',u'dias',u'dijo',u'presidente',u'gobierno',u'solo',u'parte',u'asimismo',u'asi',u'via',u'debe',u'segun',u'estamos',u'esta',u'estan',u'este',u'estos',u'mas',u'pais',u'años',u'año',u'ahora',u'tener',u'tiene',u'tienen',u'tuvo',u'tendria',u'tendrian',u'hace',u'hizo',u'habia',u'habian',u'hacer',u'haber',u'ahora',u'nuevo',u'aun',u'puede',u'casi',u'forma',u'tambien',u'ademas',u'dejar',u'admitio',u'actual',u'persona',u'personas',u'mejor',u'entonces',u'pueden',u'podrian',u'pudieran',u'grupo',u'mes',u'meses',u'momento',u'momentos',u'manera',u'maneras',u'señalo',u'estuvo',u'estuvieron',u'agrego',u'estado',u'particular',u'aqui',u'pase',u'paso',u'podra',u'dejo',u'foto',u'cerca',u'caso',u'gran',u'grandes',u'nueva',u'nunca',u'nacional',u'venezuela',u'informacion',u'pueblo',u'señala',u'estados',u'pueblo']
+    exclude_sust = [u'pais',u'venezuela',u'año',u'dia',u'caracas',u'ayer',u'vena']
+    exclude_adj = [u'venezolano']
+    exclude_verb = [u'haber',u'decir',u'hablar',u'explicar',u'indicar',u'asegurar',u'aseverar',u'anunciar',u'realizar',u'informar',u'calificar',u'poner',u'querer',u'presentar',u'seguir',u'llevar',u'expresar',u'manifestar',u'considerar',u'afirmar',u'destacar',u'señalar',u'referir',u'llamar',u'agregar',u'publicar',u'poder']
+
+    exclude_words += exclude_sust + exclude_adj + exclude_verb
     excluded = open(corpus_path+'excluded.txt','w','utf-8-sig')
     added_files = []