Barrapunto

Yo estoy a favor de que el código generado en investigación sea libre, y agradezco enormemente cuando los autores cuelgan en sus webs una implementación de su trabajo que yo pueda usar. Yo creo que esto ayuda en definitiva a que los autores se popularicen.

Sin embargo, no es tan fácil. Efectivamente el código que se genera suele ser sucio y lento, ya que para probarlo un par de veces es suficiente. Hacer las cosas bien requeriría perder más tiempo que no se dedica a investigación. Y al menos aquí en España (supongo que en otros países sucede igual), si no publicas, no haces nada.

Otra dificultad es la manera de pensar de algunas personas: "no lo publico para que no me lo roben; el que quiera que lo pague". No digo que sea una opinión equivocada, sino que no ayuda en cuanto a la difusión.

Yo pensaba que primero tenías unos datos, luego los analizabas, y finalmente exponías una conclusión, no que a partir de la conclusión que te salía del higo te inventabas un análisis sin necesidad de datos.

El Cambio Climático Antropogénico cada vez huele más a mierda, y detalles como estos no hacen más que convencerme de que detrás hay más intereses que los simplemente higiénicos y conservacionistas.

El problema es mucho más profundo de lo que parece. En la mayoría de papers que leo se hacen comparaciones de rendimiento entre algoritmos o estudios estadísticos sobre datos, pero es imposible acceder a la implementación que han hecho para realizar el estudio. Ya no es que no sepas si han utilizado matlab, python, c, excel o una mezcla de todos los anteriores para hacer el análisis, la cosa va más alla, es que si te has programado un solver es posible que la hayas cagado (o que alguna librería que utilices tenga un error, o que se descubra un bug en excel, matlab..., o que...).

Un paper aumenta de valor si los resultados y las conclusiones que en el se muestran estan verificadas y son correctas. Ponerle trabas a la gente que intenta verificarlo es dispararte en el pie, e interpretable como que en realidad lo has amañado y no quieres que te pillen... Y todo esto sin entrar en la discusión de que tu investigación se ha realizado con dinero público y que todo lo que has hecho en todas las horas de trabajo que te han pagado debería estar a disposición de todo el mundo al que le interese.

Me indigna bastante este tema.

No soy cientifico, ni tengo mucha relacion con la ciencia. Pero creo entender que parte del interes de explicar un experimento a otros cientificos es el repetirlo y comprobar si se obtienen los mismos resultados.

Me parece que si un cientifico partiendo de una teoria construye un programa, y este programa da 42. Si le da este mismo programa a otros cientificos que lo ejecutan y les sale 42. No se ha demostrado nada en absoluto, porque los otros cientificos no han creado sus propios experimentos, sino repetido el ya realizado por el cientifico original. No hay por tanto validacion del resultado original.

Supongamos que utilizando una de las muchas ideas un cientifico "demuestra" mediante un programa de ordenador que es posible crear un reactor de fusion fria rentable economicamente. Y que le proporciona a otros cientificos ese mismo programa, estos lo compilan y lo ejecutan, y obtienen el mismo resultado. ¿Hemos demostrado algo? yo creo que nada. Si por ejemplo el programa tenia un defecto de diseño, los otros cientificos van a repetir este defecto sin ser conscientes de ellos. Mil o diez milliones de cientificos que lo repitan no aporta nada.

Por otra parte, si esto se entiende, y el codigo que se proporciona sirve solo para entender la mecanica del experimento del cientifico original, me parece bien. Aunque en ocasiones la barrera entre modelo, algoritmo y codigo son difusas, seria bastante problematico que los cientificos perdieran perdidos en estos limites ambiguos entre algoritmo y codigo; por ejemplo.

Pongo un ejemplo para que se vea esta diferencia.

Imaginaros un tio[1] que ha inventado una optimizacion que toma funciones recursivas, y las convierte en funciones semi-iterativas [easypagez.com]
El tio coge y hace varios test, y los intenta correr con un engine como el motor de javascript de Firefox. Sin embargo se encuentra que esta optimizacion suya es mas lenta. ¿Que ha pasado aqui?
Ha pasado que nunca hay que confundir un algoritmo con una implementacion.

[1] tail optimization [google.com]

Si se está en competición esto no es ciencia, es negocio. Si a mí me están vendiendo un producto, de lo que me digan me creeré la mitad, pero si me venden un resultado científico voy a exigir mucho más.

Si yo tuviera que basarme en alguna conclusión científica exigiría al personal al que pago para que investigue que me aseguren científicamente los resultados de sus conclusiones. O los de las pruebas que hayan hecho si no han llegado a ninguna conclusión.

No niego que muchas mentalidades y formas de trabajo tienen que cambiar, pero lo que no es admisible es dejar la vía libre para que te engañen... y presuponer que van a ser serios.