Notícias & novidades

O principal desafio do projeto é transformar os dados em formato arbitrário fornecidos pelo governo em um formato mais adequado para exibição hierarquica numa página web.

DBIx::Class

Para integrar o schema do banco com o framework, só é preciso informar os dados para conexão.

package CMD::Model::DB;
use strict;
use base 'Catalyst::Model::DBIC::Schema';
__PACKAGE__->config(
      schema_class => 'CMD::Schema',
      connect_info => {
          dsn      => 'dbi:mysql:db=cmd',
          user     => 'cmd',
          password => 'cmd',
      }
);
1;

A partir daí, a conexão acontece automaticamente ao se executar a aplicação, inclusive com re-estabelecimento também automatico, caso algum problema ocorra. O banco pode ser consultado usando o objeto $c, que é passado para todas as subrotinas dos controllers automaticamente pelo framework. Alguns exemplos de interação:

# criar um registro
my $new_node = $c->model('DB::Node')->create({
    content => 'foo',
    valor => 10,
    parent => $node
  }
);
# consultar registros
my $node_rs = $c->model('DB::Node')->
search({content => 'foo'});
my $parent_node = $node->parent;
# obter pai do nó atual

$c->stash(foo => 'bar');
$c->forward('View::JSON');
# responde a requisição http com {"foo":"bar"}

O processo começou com a importação de dados em formato CSV, do portal de transparência. Essa foi a principal dificuldade do projeto, o formato dos dados não é adequado para o tipo de navegação apresentada. Então foi necessário renormalizar os dados para uma estrutura de dados em árvore. Se os dados estivessem disponíveis já nesse formato, o serviço poderia ter ido ao ar em apenas 8 horas.

As subdivisões das categorias de despesas podem ser modeladas através de uma árvore.

O banco de dados foi populado a partir de um algoritmo que injeta as linhas do CSV em um banco de dados relacional. A princípio, foi utilizada a abordagem de conjuntos aninhados (nested set), que, como o nome indica, representa a árvore através de relações de pertinência entre conjuntos.

Por ser baseado em conjuntos, o DBIx::Class facilita a implementação desse tipo de modelagem, em particular, já existe uma implementação pronta no CPAN, o DBIx::Class::Tree::NestedSet.

Com o schema do banco de dados implantado, basta parsear o CSV e utilizar as operações fornecidas pelo DBIx::Class::Tree::NestedSet para inserir os nós na árvore, sem ter que escrever o SQL manualmente.

A principal vantagem em não ter que escrever SQL é que a aplicação adere a uma abstração de árvore, invés de uma implementação em baixo nível. Dessa forma, fica fácil trocar a implementação por outra mais adequada no futuro. Isso eventualmente aconteceu no projeto, a troca para uma abordagem de lista de adjacências precisou apenas de ajustes no schema, e da instalação do DBIx::Class::Tree::AdjacencyList, que envolve apenas a troca de

__PACKAGE__->load_components(qw/Tree::NestedSet/);

para

__PACKAGE__->load_components(qw/Tree::AdjacencyList/);

O restante do código permaneceu idêntico, sendo necessária apenas a re-importação do CSV para o novo formato de árvore.

Depois de transformar os dados para uma árvore dentro do banco de dados, fica fácil gerar o conteúdo usando os métodos disponíveis na implementação de árvore. Acontece algo como:

$c->stash->{node} = $c->model('DB::Node')->find({node_id => $id});
$c->forward('View::JSON');