System-to-System Data Collection in business surveys applied to an agricultural survey: a Proof of Concept

On past October 22nd, my former colleague Ger Snijkers presented "System-to-System Data Collection in business surveys applied to an agricultural survey: a Proof of Concept" at the "UNECE Expert Meeting on Statistical Data Collection 2022".

After leaving Statistics Netherlands, it's really nice to see my old data collection project moving forward. It's in very good hands.

Authors: Ger Snijkers, José Gómez Pérez, and Tim de Jong 

Abstract:

At the end of the 2018 edition of this workshop, I pitched the idea of automated data collection for business surveys. In 2019, I presented the results of a first exploratory study. Now, 3 years later we have a Proof of Concept.

In the 20th century, sample surveys have proven to be a cost-efficient method to produce accurate statistics, although they come with a high cost both for the National Statistical Institutes (NSIs) and businesses, who may experience high response burden. Nowadays in the information age, there are a lot of new digital data sources in smart industries, like in precision farming. In some cases, these data sources allow for data communication with other computer systems without human intervention via Application Programming Interfaces (APIs). Based on these software interfaces, we developed a system-to-system data collection methodology that reduces response burden by automating the business’s internal data retrieval process. Applied to the official Crop Yield Survey, a software prototype was developed based on this methodology.

At the workshop, we will present the IT architecture we developed, showing how data capture and processing can be automated. We will discuss the automated pre-filling of the electronic Crop Yield Survey questionnaire using an API provided by a smart farming machine manufacturer, John Deere: the MyJohnDeere API. In a first Proof of Concept, it has been applied to data from a virtual farm, showing that it works, and the farmer’s workload to complete a questionnaire can be limited to a minimum.

Our next step is to conduct a small-scale field test with a small number of farmers to study the method in practice. This field test is planned for the fall of 2022. Hopefully, we can present the first results of this field test at this Expert Meeting in October.

It is our belief that this system-to-system method can be applied to business surveys in general and in the future will replace the manual completion of business survey questionnaires including the manual retrieval and rekeying of data.

The slides can be found here: https://unece.org/sites/default/files/2022-10/DC2022_S2_Netherlands_Snijkers%20et%20al_P_2.pdf 

¿Qué aportan los simuladores digitales a la educación media y superior?

En primer lugar, definamos el concepto de "simulador". Según la RAE, un simulador es un "aparato que reproduce el comportamiento de un sistema en determinadas condiciones, aplicado generalmente para el entrenamiento de quienes deben manejar dicho sistema". 

Como veremos un poco más adelante, los simuladores digitales ofrecen algunos beneficios adicionales que no brindan los simuladores físicos. Además la gran mayoría de estas ventajas extras son relevantes en un contexto educativo medio y superior. Por estas razones, en este artículo desglosamos los principales aportes de la simulación digital a la educación media y superior. 

Los simuladores son el análogo digital de los clásicos laboratorios físicos, por ejemplo: un laboratorio de biología en un instituto, uno de electricidad en Formación Profesional (FP) o un laboratorio de ensayo de materiales en una escuela de ingeniería. Tanto los simuladores como los laboratorios físicos permiten a los alumnos una aproximación práctica a las materias, complementando la teoría impartida en el aula y contribuyendo a fijar los conceptos.

Beneficios

Partiendo de la base que tienen en común la simulación digital y los laboratorios físicos, a continuación explicamos los beneficios adicionales que aportan los primeros sobre los segundos:

a. Reducción del coste

En general, las soluciones digitales nos permiten escalar de una forma más económica que las físicas. El coste marginal de nuevas unidades digitales es muy inferior al de sus homólogos físicos. De forma similar a lo que ocurre en otros sectores como la industria editorial o de la música. 

b. Compatible con e-Learning

Por definición los simuladores son el complemento perfecto del e-Learning, ya que ambos se aproximan al aprendizaje desde el mismo ángulo.

c. Sin limitación de tamaño

Hay conceptos o fenómenos que no caben físicamente en ningún laboratorio y si lo hicieran el coste sería desorbitado (por ejemplo: un ecosistema, la economía de un país o un proceso industrial complejo). 

d. Sin limitación de escala de tiempo

Los simuladores nos permiten observar en detalle tanto lo que ocurre cuando la escala de tiempo es muy pequeña (por ejemplo, transitorios en circuitos eléctricos) como lo que sucede cuando la escala es muy grande (como en los fenómenos sociales, que tardan años o décadas en desarrollarse).

e. Riesgo cero

Es posible abordar materias, que resultarían peligrosas para el estudiante, de una forma segura (por ejemplo, la simulación de la desintegración radioactiva).

f. Disponibilidad y flexibilidad

Desplegando los simuladores en la nube, estarán disponibles a cualquier hora desde cualquier parte (incluyendo el aula). No es necesario realizar un calendario de prácticas para que los estudiantes se vayan turnando en el laboratorio, pudiendo los alumnos acceder a ellos en cualquier momento. 

g. Medición sencilla

A no ser que el objetivo de las prácticas sea aprender de metrología, las mediciones son muy sencillas y fácilmente reproducibles cuando usamos simuladores digitales. 

En muchas ocasiones, cuando realizamos un experimento físico; estamos más concentrados en realizar las mediciones de forma adecuada dentro de la ventana de oportunidad que brinda el experimento que en el objeto del experimento en sí.

Además en experimentos físicos suele haber variables de interés que no están disponibles, al menos directa o fácilmente. Cuando se trata de medir magnitudes físicas (por ejemplo: temperatura, presión, intensidad de corriente, etc.), éstas pueden ser de difícil acceso o los sensores necesarios para medirlas tener un coste muy alto. En ciencias sociales, es frecuente que las variables de interés se midan indirectamente a través de variables intermedias que actúan como proxies.

h. Sin dilemas éticos

Hacer experimentos in vivo con humanos o animales suele conllevar dilemas éticos (por ejemplo, experimentar con la fisiología humana plantea serios problemas éticos y morales). Sin embargo, la simulación nos permite realizar experimentos in silico con total tranquilidad.

Aunque quizás no sean tan obvias como la experimentación con humanos o animales, hay otras situaciones que también plantean problemas problemas éticos o morales, como la experimentación en ecología. En la realidad no podemos provocar un colapso ecológico con fines científicos, pero en un simulador es totalmente factible.

Ejemplos reales

Si el lector tiene curiosidad por ver ejemplos reales, en el siguiente enlace puede encontrar en línea algunos simuladores en cuyo desarrollo he participado: https://www.ensaprocsimulation.com/simulation_apps.php?v=b1

Simulador de gestión de pesquerías

Recientemente hemos lanzado la versión 1.0 del simulador educativo: "Fisheries management v1.0".

Este simulador modela la gestión de una pesquería. La mala administración de pesquerías puede causar fácilmente el colapso de los bancos de peces, de las flotas de pesca y de las comunidades que dependen de las mismas. Las pesquerías son recursos renovables, pero su sobreexplotación puede conducir a la destrucción de las mismas. Es un problema común y global.

Una buena gestión de las pesquerías asegura que el esfuerzo pesquero se equilibra con los bancos de peces y con la regeneración de los mismos. ¿Pero por qué este equilibrio es tan costoso? Los pescadores no reciben una señal de realimentación adecuada de la pesquería. Las poblaciones de peces comienzan a declinar peligrosamente antes de que los pescadores puedan notar una reducción drástica en sus capturas.

El simulador incluye documentación detallada, actualizaciones de software y está disponible 24x7 a través de la web.

Puede obtener una licencia de prueba gratuitamente aquí: https://www.ensaprocsimulation.com/lab_fisheries_management.php?v=b2

Simulador de la reintroducción de especies en bosques boreales

Recientemente hemos lanzado la versión 1.1 del simulador educativo: "Reintroduction of species in boreal forests v1.1".

Este simulador modela el efecto de la reintroducción de liebres americanas (lepus americanus) y/o depredadores en bosques boreales canadienses a través de un modelo dinámico de poblaciones tritrófico.

Los estudiantes aprenden sobre las complejas dinámicas involucradas en este fenómeno de una forma práctica e intuitiva: haciendo simulaciones.

El simulador incluye documentación detallada, actualizaciones de software y está disponible 24x7 a través de la web.

Puede obtener una licencia de prueba gratuitamente aquí: 

https://www.ensaprocsimulation.com/lab_tritrophic.php?v=b3 

Patrones de diseño

Podéis encontrar un resumen muy bueno de patrones de diseño de software en esta página: https://refactoring.guru/es/design-patterns

Está disponible en español y en otros idiomas.

La electrónica analógica contraataca

Sincronización