source: consulta_publica/procesamiento/views.py @ 7095598

# -*- coding: utf-8 -*-
"""
Sistema de Consulta Pública

Copyleft (@) 2017 CENDITEL nodo Mérida - https://planificacion.cenditel.gob.ve/trac/wiki/ModeladoTopicos_2017
"""
## @package procesamiento.views
#
# Vistas correspondientes a la aplicación procesamiento
# @author Rodrigo Boet (rboet at cenditel.gob.ve)
# @author <a href='http://www.cenditel.gob.ve'>Centro Nacional de Desarrollo e Investigación en Tecnologías Libres
# (CENDITEL) nodo Mérida - Venezuela</a>
# @copyright <a href='http://www.gnu.org/licenses/gpl-2.0.html'>GNU Public License versión 2 (GPLv2)</a>
# @version 1.0
from shutil import copy, rmtree
from django.shortcuts import render
from django.views.generic import (
    FormView, TemplateView, CreateView, ListView,
    DeleteView, UpdateView
    )
from django.core.urlresolvers import reverse_lazy
from django.http import JsonResponse
from django.contrib.messages.views import SuccessMessageMixin
from django.contrib.auth.mixins import LoginRequiredMixin
from braces.views import GroupRequiredMixin
from django.contrib.auth.models import User
## Importaciones de la consulta
from consulta_publica.settings import PROCESAMIENTO_PATH, BASE_DIR
from consulta.models import Consulta
## Importaciones propias
from .forms import ProcesamientoSelectForm, ProcesamientoForm, ProcesamientoActionForm
from .models import Procesamiento
## Importaciones de los utils
from utils.freeling import *
from utils.corpusScript import *
from utils.run_lda import generate_comand


class ProcesamientoIndex(GroupRequiredMixin,LoginRequiredMixin,FormView):
    """!
    Clase que gestiona la vista principal del procesamiento

    @author Rodrigo Boet (rboet at cenditel.gob.ve)
    @copyright <a href='http://www.gnu.org/licenses/gpl-2.0.html'>GNU Public License versión 2 (GPLv2)</a>
    @date 28-03-2017
    @version 1.0.0
    """
    template_name = "procesamiento.index.html"
    form_class = ProcesamientoSelectForm
    group_required = u"Administrador"

    def get_success_url(self):
        """!
        Metodo que permite definir la url de dirección al ser válido el formulario
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 28-03-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @return Retorna la url
        """
        consulta = self.request.POST['consultas']
        return reverse_lazy('procesamiento_select',
                            kwargs={'pk': consulta})

class ProcesamientoSelect(GroupRequiredMixin,LoginRequiredMixin,FormView):
    """!
    Clase que gestiona la vista principal de las opciones del procesamiento

    @author Rodrigo Boet (rboet at cenditel.gob.ve)
    @copyright <a href='http://www.gnu.org/licenses/gpl-2.0.html'>GNU Public License versión 2 (GPLv2)</a>
    @date 28-03-2017
    @version 1.0.0
    """
    template_name = "procesamiento.select.html"
    form_class = ProcesamientoActionForm
    group_required = u"Administrador"
    
    def get_form_kwargs(self,**kwargs):
        """!
        Metodo que permite pasar el id de la consulta y pasarlo al form
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 17-04-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @return Retorna el kwargs con el id de la consulta
        """
        kwargs = super(ProcesamientoSelect, self).get_form_kwargs()
        kwargs.update({'pk': self.kwargs['pk']})
        return kwargs
        
    def get_context_data(self, **kwargs):
        """!
        Metodo para cargar/obtener valores en el contexto de la vista
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 28-03-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @param kwargs <b>{object}</b> Objeto que contiene los datos de contexto
        @return Retorna los datos de contexto
        """
        kwargs['pk'] = self.kwargs['pk']
        procesamiento = Procesamiento.objects.filter(consulta_id=kwargs['pk'])
        if(procesamiento):
            kwargs['procesamiento'] = True
        return super(ProcesamientoSelect, self).get_context_data(**kwargs)
    
    def form_valid(self,form):
        """!
        Metodo que permite procesar si el formulario es válido
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 29-03-2017
        @param self <b>{object}</b> Objeto que instancia el método
        @param form <b>{object}</b> Objeto que contiene el formulario
        @return Retorna un redirect a la success_url
        """        
        procesamiento_id  = form.cleaned_data['procesamiento']
        
        procesamiento = Procesamiento.objects.get(pk=procesamiento_id)
        excluded_words = procesamiento.excluded_words
        
        if len(excluded_words)>0:
            excluded_words = [item.strip() for item in excluded_words.split(",")]
                   
        dir_consulta = "_".join(procesamiento.consulta.nombre_consulta.split(" "))
        ## Se crea el directorio del procesamiento
        procesamiento_dir = PROCESAMIENTO_PATH+"/"+dir_consulta
        if not os.path.exists(procesamiento_dir):
            os.mkdir(procesamiento_dir)
            
        ## Se preparan los archivos/directorios necesarios para el pre-procesamiento
        self.prepare_files(procesamiento_dir)
        
        ## Se realiza el freeling y procesamiento con LDA
        self.make_process(procesamiento_dir,procesamiento.words,procesamiento.excluded_words)
        
        ## Se guarda como corrido el procesamiento
        procesamiento.used = True
        procesamiento.save()
        
        if self.request.is_ajax():
            return JsonResponse({"code":True})
        else:
            return super(ProcesamientoSelect, self).form_valid(form)
        
    def prepare_files(self,dest):
        """!
        Metodo para copiar los corpus del destino al origen y crear los directorios
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 08-02-2017
        @param self <b>{object}</b> Objeto que instancia el método
        @param dest <b>{str}</b> Recibe la ruta de destino
        """
        ## Se crean los directorios necesarios para el pre-procesamiento
        if not os.path.exists(dest+"/lower/"):
            os.mkdir(dest+"/lower/")
        if not os.path.exists(dest+"/pp/"):
            os.mkdir(dest+"/pp/")
        if not os.path.exists(dest+"/lda/"):
            os.mkdir(dest+"/lda/")
        if not os.path.exists(dest+"/freeling/"):
            os.mkdir(dest+"/freeling/")
        if not os.path.exists(dest+"/noaccent/"):
            os.mkdir(dest+"/noaccent/")
            
    def make_process(self, path, word_list, exluded_words):
        """!
        Metodo para realizar el pre-procesamiento y lda
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 09-02-2017
        @param self <b>{object}</b> Objeto que instancia el método
        @param path <b>{str}</b> Recibe la ruta de origen del corpus
        @param word_list <b>{list}</b> Recibe una lista palabras a excluir
        @param exluded_words <b>{list}</b> Recibe una lista de las palabras a excluir
        """
        orig_corpus_path = path + '/orig/'
        lower_corpus_path = path + '/lower/'
        pp_corpus_path = path + '/pp/'
        lda_corpus_path = path + '/lda/'
        
        ## Crea los archivos de puro minusculas
        files_to_lower(orig_corpus_path,lower_corpus_path)
        
        ## Se realiza el pre-procesamiento
        if len(word_list)>1:
            file_words_pp,corpus_words = preprocess(lower_corpus_path,do_fl=True,pos_list=word_list)
        else:
            file_words_pp,corpus_words = preprocess(lower_corpus_path,do_fl=True)
        
        ## Se genera el archivo de vocabulario excluido
        generate_exluded_file(path+"/",pp_corpus_path,file_words_pp,exluded_words)
        
        ## Se generan los archivos .dat
        corpus_script(pp_corpus_path,lda_corpus_path)
        
        ## Se generan los archivos con el LDA
        corpus_dat = lda_corpus_path+'corpus.dat' 
        generate_comand(BASE_DIR,corpus_dat,path,9)
    
class ProcesamientoCreate(GroupRequiredMixin,LoginRequiredMixin,SuccessMessageMixin,CreateView):
    """!
    Clase que gestiona la creación de perfiles procesamiento

    @author Rodrigo Boet (rboet at cenditel.gob.ve)
    @copyright <a href='http://www.gnu.org/licenses/gpl-2.0.html'>GNU Public License versión 2 (GPLv2)</a>
    @date 28-03-2017
    @version 1.0.0
    """
    model = Procesamiento
    form_class = ProcesamientoForm
    template_name = "procesamiento.create.html"
    success_message = "Se creó el perfil de procesamiento con éxito"
    success_url = reverse_lazy('procesamiento_index')
    group_required = u"Administrador"
    
    def get_form_kwargs(self,**kwargs):
        """!
        Metodo que permite pasar el id de la consulta y pasarlo al form
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 17-04-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @return Retorna el kwargs con el id de la consulta
        """
        kwargs = super(ProcesamientoCreate, self).get_form_kwargs()
        kwargs.update({'pk': self.kwargs['pk']})
        return kwargs
    
    def get_context_data(self, **kwargs):
        """!
        Metodo para cargar/obtener valores en el contexto de la vista
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 28-03-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @param kwargs <b>{object}</b> Objeto que contiene los datos de contexto
        @return Retorna los datos de contexto
        """
        kwargs['pk'] = self.kwargs['pk']
        return super(ProcesamientoCreate, self).get_context_data(**kwargs)
    
    def form_valid(self,form):
        """!
        Metodo que al que accede si el formulario es válido
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 28-03-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @param form <b>{object}</b> Objeto que contiene el formulario de registro
        @return Retorna el formulario validado
        """
        consulta = Consulta.objects.get(pk=self.kwargs['pk'])
        user = User.objects.get(pk=self.request.user.id)
        self.object = form.save(commit=False)
        self.object.procesamiento_dir = form.cleaned_data['procesamiento_dir']
        self.object.words = form.cleaned_data['words']
        self.object.excluded_words = form.cleaned_data['excluded_words']
        self.object.consulta = consulta
        self.object.user = user
        self.object.save()
        return super(ProcesamientoCreate, self).form_valid(form)
    
    
class ProcesamientoList(GroupRequiredMixin,LoginRequiredMixin,ListView):
    """!
    Clase que gestiona la lista de los perfiles procesamiento

    @author Rodrigo Boet (rboet at cenditel.gob.ve)
    @copyright <a href='http://www.gnu.org/licenses/gpl-2.0.html'>GNU Public License versión 2 (GPLv2)</a>
    @date 28-03-2017
    @version 1.0.0
    """
    model = Procesamiento
    template_name = "procesamiento.list.html"
    group_required = u"Administrador"
    
    def get_context_data(self, **kwargs):
        """!
        Metodo para cargar/obtener valores en el contexto de la vista
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 28-03-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @param kwargs <b>{object}</b> Objeto que contiene los datos de contexto
        @return Retorna los datos de contexto
        """
        kwargs['pk'] = self.kwargs['pk']
        context = super(ProcesamientoList, self).get_context_data(**kwargs)
        context['object_list'] = Procesamiento.objects.filter(consulta_id=kwargs['pk']).all()
        return context
        
    
    
class ProcesamientoDelete(GroupRequiredMixin,LoginRequiredMixin,SuccessMessageMixin,DeleteView):
    """!
    Clase que gestiona la borrado de perfiles de procesamiento

    @author Rodrigo Boet (rboet at cenditel.gob.ve)
    @copyright <a href='http://www.gnu.org/licenses/gpl-2.0.html'>GNU Public License versión 2 (GPLv2)</a>
    @date 28-03-2017
    @version 1.0.0
    """
    model = Procesamiento
    template_name = "procesamiento.delete.html"
    success_message = "Se eliminó el perfil de procesamiento con éxito"
    group_required = u"Administrador"
    
    def post(self,request,*args, **kwargs):
        """!
        Metodo de la petición de borrado por POST
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 04-05-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @param request <b>{object}</b> Objeto que contiene la petición
        @param args <b>{object}</b> Objeto que contiene los argumentos
        @param kwargs <b>{object}</b> Objeto que contiene los datos de contexto
        @return Retorna el borrado por post
        """
        procesamiento = self.model.objects.get(pk=kwargs['pk'])
        ## Se genera el nombre del directorio del procesamiento
        dir_consulta = "_".join(procesamiento.consulta.nombre_consulta.split(" "))
        procesamiento_dir = PROCESAMIENTO_PATH+"/"+dir_consulta
        ## Se borra el directorio de la consulta
        rmtree(procesamiento_dir)
        return super(ProcesamientoDelete, self).post(request,*args, **kwargs)
    
    def get_context_data(self, **kwargs):
        """!
        Metodo para cargar/obtener valores en el contexto de la vista
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 28-03-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @param kwargs <b>{object}</b> Objeto que contiene los datos de contexto
        @return Retorna los datos de contexto
        """
        kwargs['pk'] = self.kwargs['pk_consulta']
        return super(ProcesamientoDelete, self).get_context_data(**kwargs)
    
    
    def get_success_url(self):
        """!
        Metodo que permite definir la url de dirección al ser válido el formulario
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 28-03-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @return Retorna la url
        """
        pk = self.kwargs['pk_consulta']
        return reverse_lazy('procesamiento_list',
                            kwargs={'pk': pk})
    
    
class ProcesamientoUpdate(GroupRequiredMixin,LoginRequiredMixin,SuccessMessageMixin,UpdateView):
    """!
    Clase que gestiona la actualización de perfiles de procesamiento

    @author Rodrigo Boet (rboet at cenditel.gob.ve)
    @copyright <a href='http://www.gnu.org/licenses/gpl-2.0.html'>GNU Public License versión 2 (GPLv2)</a>
    @date 28-03-2017
    @version 1.0.0
    """
    model = Procesamiento
    form_class = ProcesamientoForm
    template_name = "procesamiento.update.html"
    success_message = "Se actualizó el perfil de procesamiento con éxito"
    group_required = u"Administrador"
    
    def get_form_kwargs(self,**kwargs):
        """!
        Metodo que permite pasar el id de la consulta y pasarlo al form
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 17-04-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @return Retorna el kwargs con el id de la consulta
        """
        kwargs = super(ProcesamientoUpdate, self).get_form_kwargs()
        kwargs.update({'pk': self.kwargs['pk']})
        return kwargs
    
    def get_context_data(self, **kwargs):
        """!
        Metodo para cargar/obtener valores en el contexto de la vista
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 28-03-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @param kwargs <b>{object}</b> Objeto que contiene los datos de contexto
        @return Retorna los datos de contexto
        """
        kwargs['pk'] = self.kwargs['pk_consulta']
        return super(ProcesamientoUpdate, self).get_context_data(**kwargs)
    
    def get_success_url(self):
        """!
        Metodo que permite definir la url de dirección al ser válido el formulario
    
        @author Rodrigo Boet (rboet at cenditel.gob.ve)
        @copyright GNU/GPLv2
        @date 28-03-2017
        @param self <b>{object}</b> Objeto que instancia la clase
        @return Retorna la url
        """
        pk = self.kwargs['pk_consulta']
        return reverse_lazy('procesamiento_list',
                            kwargs={'pk': pk})