Por fin he sacado un rato para escribir sobre nuestra participación en el Desafío AbreDatos 2011 con elDisparate.

El equipo y la idea:

Hice equipo con Mamen Pradel (diseño), Toño García (ilustración y animación) y Agustín Raluy (márketing); vamos, que arriesgamos en cuanto a la formación del equipo, descargando importancia a la parte de programación y dándosela a la de diseño/presentación. Y no, no hubo muchas discusiones en cuanto al código XD.

Como altoaragonés, tenía ganas de participar con un equipo desde la provincia de Huesca, que hay que intentar descentralizar un poco el foco que tiene Zaragoza en cuanto a temas tecnológicos y repartirlo por el resto de Aragón. Por eso nos fuimos a nuestros respectivos pueblos ("secuestrando" a Mamen de tierras mañas ;)), y montamos el cuartel general el fin de semana en las oficinas de Integral Stand en Barbastro.

El origen de la idea es un poco de rebote, un día "tuiteé" un post (en aragonés) de @purnas: Gaddafi bombardeya con armas zaragozanas (A historia d’Instalaza), y @dcabo me remitió al foro de AbreDatos por si me interesaba el tema de la exportación de armas.

Tras el beersotrimng pre-abredatos de cachirulovalley dejamos cerrada la temática y casi el equipo con Mamen y Agustín. Hubo otro programador oscense que estuvo a punto de formar parte el equipo, pero que finalmente no podía participar ese fin de semana. Por lo que surgió la idea de convencer a Toño y darle un enfoque completamente de visualización de información.

En cuanto a lo que íbamos a implementar, fueron Mamen y Toño quienes estuvieron conceptualizándolo. Yo sabía que iba a tener que pellear con la web de aduanas, y sólo me iba a tener que preocupar como sacar la información.

El desarrollo:

Tenía bastante claro que iba a desarrollar la web con Grails, aunque el front iba a ser muy sencillo y podría haber utilizado frameworks más minimalistas, fui a asegurar con el framework web que mejor conozco y más productivo puedo ser.

Tengo que confesar que iba muy confiado con la extracción de datos, había unos ficheros con formato "tipo CSV" que podía scrapear desde la web para descargarlos, y así poder procesar y cargar esos datos a la web en Grails.

Para el scarpping pretendía utilizar python y BeautifulSoup, una librería que ya conozco del año pasado y que facilita mucho trabajar en extraer información de HTML.

Pero la web de aduanas tenía una curiosidad, al hacer la primera petición a la web, esta te devolvía un documento HTML con sólo un código javascript para redirigir a la home. Supongo que ahí deben escribir alguna cookie en el navegador con alguna finalidad que mi cerebro no ha sabido suponer, y entonces ya permite navegar libremente.

Estuve probando con herramientas tipo mechanize para python y ruby. Pero con la presión del tiempo, al ver que no conseguía que me funcionaran y me cansé de ver como pasaban las horas inútilmente.

Finalmente tomamos la decisión de descargar los datos a mano (limitándonos sólo a exportaciones de 2009 y sin poder entrar a detallar el tipo de armas). Ya traía aprendido del año pasado que es mejor acotar el alcance en caso de problemas.

En cuanto la aplicación Grails, me centré exclusivamente en terminar, olvidad ver soluciones sofisticadas y elegantes en mi código:

• La base de datos es la HSQLDB embebida de Grails, pero cargada en memoria para que resulte más rápido.
• Cada vez que se arranca la aplicación se cargan todos los datos, que realmente están persistidos en ficheros de texto.
• No hay tests y el código en general tiene bastante margen de mejora.

El despliegue:

Tenía ganas de probar cloudfoundry por fin, que hacía unas semanas que me habían dado acceso a la beta. Cuál fue nuestra sorpresa cuando ya desplegamos la primera versión, que no había manera de apuntar el dominio a cloudfoundry, que aún lo no soporta (Y hasta que no lo soporte no me planteo utilizarlo).

Entonces pensé en Amazon Beanstalk y en CloudBees como PaaS alternativas para webs en Java, ya que evidentemente no había mucho tiempo de preparar una máquina desde 0. Y tras algunas gestiones en paralelo para ver donde desplegábamos, terminé desplegando en CloudBees y el dominio pasó a apuntar allí.

Os dejo unas fotos para que veais lo mucho que sufrimos y lo mal que lo pasamos :)

Comimos genial, haciendo parrilladas en Monzón y Barbastro, no faltaron la cerveza, las risas y tampoco las tensiones de última hora :).

Por cierto, que resulta que hemos entrado entre los 8 finalistas del AbreDatos. Quien quiera puede valorarnos a nosotros y al resto de participantes en la web de votaciones de AbreDatos.

Cuando escucho el clásico De cacería, del Club de los Poetas Violentos, siempre me quedo a la espera de la parte de Kamikaze del final. Cuando lo escucho me viene algún tipo de gente de esa que "trabaja" en IT/internet... y del mamoneo en general, claro.

A ver, entonces partimos de la base de que voy con una peña, mi peña,
y que cada uno hacemos movidas
y nos salimos haciendo movidas,
nos juntamos para hacer movidas y nos salimos incluso más,
así que ¿con quién estoy? ¿con quién voy?, ¿con quién me vas viendo?,
con mi peña, mi gente, mi mogollón
que mañana será con los que yo estaré, según lo que vaya sucediendo,
y toda esa peñita que no conozco y mientras de buen rollo, ¿mañana qué?
supongo que eso no depende de cómo este yendo, sino de lo que siga vendiendo,
así que me la sudáis,
yo seguiré cumpliendo conmigo mismo, y con los que cumplen conmigo,
y me importa una mierda lo que vais diciendo,
las tonterías que estáis escribiendo,
yo defiendo lo mío, defiendo los míos, defiendo lo de los míos,
buen rollete sí hombre, que no os hagáis líos anda,
que ya sabemos por dónde van los tiros,
que ya no estamos pa tonterías, que la peña ya ha madurado,
y junto a los imbéciles los frutos están cayendo,
haced lo que os da la gana y dejadnos con nuestras vidas,
dejadnos con nuestras movidas,
que ya nos tenemos los unos a los otros pa lo bueno y pa lo malo,
y siempre haremos lo que el corazón nos pida,
si somos unos buscavidas y tiraremos palante digas lo que digas,
y cuidadito con destruirnos el camino,
que no estamos pa hostias
¿¿Sabes??

Aún con la resaca de haber ido a Cáceres a TheEvnt y andar meditando algunos pensamientos, esta semana se celebran un par de eventos en cuya organización he participado de algún modo.

El primero son las II Cachirulo Talks, sobre financiación, este jueves 19. Que hemos organizado desde Cachirulo Valley. Será interesante ver el contraste de lo que nos vayan a contar Ana Isabel Alcaine, directora de inversionde de la gestora de capital de riesgo en Going Investment; y Alberto Molpeceres, fundador de Linking Paths, empresa financiada con recursos propios y propietaria de Stage (producto con 3 millones de $ de facturación).

El segundo es el VI Aniversario Cadius Zaragoza(se dice rápido 6 años...), el viernes 20. Tendremos el gustazo de contar con Jesús Gorriti, director de diseño en Fjord España, que hablará de diseño como agente de cambio.

Después de los eventos iremos a algún bar cercano a hacer networking a tomar unas cañas y charlar relajadamente.

Con el fin de semana de abredatos de por medio(del que ya escribiré algo), había dejado un poco de lado la publicación de un par de videos del jueves en la Escuela de Organización Industrial.

El primero es de la mesa redonda sobre Open Data con Ruben Martín(Fundación CTIC), Alberto Ortiz de Zárate(Open Data Euskadi) y un servidor; con Juan Freire como moderador.

El segundo es una pequeña entrevista del EOI antes de empezar la mesa redonda.

A este paso hasta aprenderé :D

Últimamente creo que estoy poniéndome el sombrero de activista del open data poco a poco casi sin darme cuenta... lo más habitual es que lo haga evangelizando explicando y discutiendo su importancia en conversaciones tomando unas cañas en buena compañía :)

Este jueves a las 18:00 participaré como representante de DNDzgz, por ser uno de los equipos participantes del desafío AbreDatos 2010, en una mesa redonda de Experiencias de Open Data e Innovación Abierta en la Escuela de Organización Industrial de Madrid con Juan Freire(Profesor y colaborador EOI), Alberto Ortiz de Zárate(responsable de Open Data Euskadi) y Rubén Martín(responsable técnico en los proyectos de Open Data de la Fundación CTIC).

En el contexto del encuentro Visualizar'11. Comprender las infraestructuras esta mesa redonda propone un recorrido por iniciativas de innovación abierta y open data; su vinculación práctica a partir de la producción colaborativa/compartida de proyectos entre entidades con similares objetivos. La contribución de la corriente Open Data y su relación con proyectos de iniciativa ciudadana será analizada a través de experiencias exitosas en desarrollo.