System-to-System Data Collection in business surveys applied to an agricultural survey: a Proof of Concept

On past October 22nd, my former colleague Ger Snijkers presented "System-to-System Data Collection in business surveys applied to an agricultural survey: a Proof of Concept" at the "UNECE Expert Meeting on Statistical Data Collection 2022".

After leaving Statistics Netherlands, it's really nice to see my old data collection project moving forward. It's in very good hands.

Authors: Ger Snijkers, José Gómez Pérez, and Tim de Jong 

Abstract:

At the end of the 2018 edition of this workshop, I pitched the idea of automated data collection for business surveys. In 2019, I presented the results of a first exploratory study. Now, 3 years later we have a Proof of Concept.

In the 20th century, sample surveys have proven to be a cost-efficient method to produce accurate statistics, although they come with a high cost both for the National Statistical Institutes (NSIs) and businesses, who may experience high response burden. Nowadays in the information age, there are a lot of new digital data sources in smart industries, like in precision farming. In some cases, these data sources allow for data communication with other computer systems without human intervention via Application Programming Interfaces (APIs). Based on these software interfaces, we developed a system-to-system data collection methodology that reduces response burden by automating the business’s internal data retrieval process. Applied to the official Crop Yield Survey, a software prototype was developed based on this methodology.

At the workshop, we will present the IT architecture we developed, showing how data capture and processing can be automated. We will discuss the automated pre-filling of the electronic Crop Yield Survey questionnaire using an API provided by a smart farming machine manufacturer, John Deere: the MyJohnDeere API. In a first Proof of Concept, it has been applied to data from a virtual farm, showing that it works, and the farmer’s workload to complete a questionnaire can be limited to a minimum.

Our next step is to conduct a small-scale field test with a small number of farmers to study the method in practice. This field test is planned for the fall of 2022. Hopefully, we can present the first results of this field test at this Expert Meeting in October.

It is our belief that this system-to-system method can be applied to business surveys in general and in the future will replace the manual completion of business survey questionnaires including the manual retrieval and rekeying of data.

The slides can be found here: https://unece.org/sites/default/files/2022-10/DC2022_S2_Netherlands_Snijkers%20et%20al_P_2.pdf 

¿Qué aportan los simuladores digitales a la educación media y superior?

En primer lugar, definamos el concepto de "simulador". Según la RAE, un simulador es un "aparato que reproduce el comportamiento de un sistema en determinadas condiciones, aplicado generalmente para el entrenamiento de quienes deben manejar dicho sistema". 

Como veremos un poco más adelante, los simuladores digitales ofrecen algunos beneficios adicionales que no brindan los simuladores físicos. Además la gran mayoría de estas ventajas extras son relevantes en un contexto educativo medio y superior. Por estas razones, en este artículo desglosamos los principales aportes de la simulación digital a la educación media y superior. 

Los simuladores son el análogo digital de los clásicos laboratorios físicos, por ejemplo: un laboratorio de biología en un instituto, uno de electricidad en Formación Profesional (FP) o un laboratorio de ensayo de materiales en una escuela de ingeniería. Tanto los simuladores como los laboratorios físicos permiten a los alumnos una aproximación práctica a las materias, complementando la teoría impartida en el aula y contribuyendo a fijar los conceptos.

Beneficios

Partiendo de la base que tienen en común la simulación digital y los laboratorios físicos, a continuación explicamos los beneficios adicionales que aportan los primeros sobre los segundos:

a. Reducción del coste

En general, las soluciones digitales nos permiten escalar de una forma más económica que las físicas. El coste marginal de nuevas unidades digitales es muy inferior al de sus homólogos físicos. De forma similar a lo que ocurre en otros sectores como la industria editorial o de la música. 

b. Compatible con e-Learning

Por definición los simuladores son el complemento perfecto del e-Learning, ya que ambos se aproximan al aprendizaje desde el mismo ángulo.

c. Sin limitación de tamaño

Hay conceptos o fenómenos que no caben físicamente en ningún laboratorio y si lo hicieran el coste sería desorbitado (por ejemplo: un ecosistema, la economía de un país o un proceso industrial complejo). 

d. Sin limitación de escala de tiempo

Los simuladores nos permiten observar en detalle tanto lo que ocurre cuando la escala de tiempo es muy pequeña (por ejemplo, transitorios en circuitos eléctricos) como lo que sucede cuando la escala es muy grande (como en los fenómenos sociales, que tardan años o décadas en desarrollarse).

e. Riesgo cero

Es posible abordar materias, que resultarían peligrosas para el estudiante, de una forma segura (por ejemplo, la simulación de la desintegración radioactiva).

f. Disponibilidad y flexibilidad

Desplegando los simuladores en la nube, estarán disponibles a cualquier hora desde cualquier parte (incluyendo el aula). No es necesario realizar un calendario de prácticas para que los estudiantes se vayan turnando en el laboratorio, pudiendo los alumnos acceder a ellos en cualquier momento. 

g. Medición sencilla

A no ser que el objetivo de las prácticas sea aprender de metrología, las mediciones son muy sencillas y fácilmente reproducibles cuando usamos simuladores digitales. 

En muchas ocasiones, cuando realizamos un experimento físico; estamos más concentrados en realizar las mediciones de forma adecuada dentro de la ventana de oportunidad que brinda el experimento que en el objeto del experimento en sí.

Además en experimentos físicos suele haber variables de interés que no están disponibles, al menos directa o fácilmente. Cuando se trata de medir magnitudes físicas (por ejemplo: temperatura, presión, intensidad de corriente, etc.), éstas pueden ser de difícil acceso o los sensores necesarios para medirlas tener un coste muy alto. En ciencias sociales, es frecuente que las variables de interés se midan indirectamente a través de variables intermedias que actúan como proxies.

h. Sin dilemas éticos

Hacer experimentos in vivo con humanos o animales suele conllevar dilemas éticos (por ejemplo, experimentar con la fisiología humana plantea serios problemas éticos y morales). Sin embargo, la simulación nos permite realizar experimentos in silico con total tranquilidad.

Aunque quizás no sean tan obvias como la experimentación con humanos o animales, hay otras situaciones que también plantean problemas problemas éticos o morales, como la experimentación en ecología. En la realidad no podemos provocar un colapso ecológico con fines científicos, pero en un simulador es totalmente factible.

Ejemplos reales

Si el lector tiene curiosidad por ver ejemplos reales, en el siguiente enlace puede encontrar en línea algunos simuladores en cuyo desarrollo he participado: https://www.simulationspot.com/educational-simulators/

Última actualización: 15/06/2024

Patrones de diseño

Podéis encontrar un resumen muy bueno de patrones de diseño de software en esta página: https://refactoring.guru/es/design-patterns

Está disponible en español y en otros idiomas.

A new Method for Automating Business Data Collection of Official Statistics through APIs

On September 15th, I will participate in The European Establishment Statistics Workshop 2021 (EESW21). During Session 4: Use of alternative data sources, I will present the work that I have been doing together with my colleagues Ger Snijkers  and Sofie De Broe: A new Method for Automating Business Data Collection of Official Statistics through APIs, System-to-System data communication applied to John Deere data.  

You can find the presentation abstract below:

A a new Method for Automating Business Data Collection of Official Statistics through APIs

José Gómez Pérez, Ger Snijkers, and Sofie De Broe

Statistics Netherlands, Methodology Department, Heerlen

Sample surveys are a primary data collection method. In the 20th century sample surveys have proven to be a cost-efficient method to produce accurate statistics, although they come with a high cost both for the National Statistical Institutes (NSIs) and businesses, who may experience high response burden. Nowadays in the information age, there are a lot of new digital data sources in smart industries, such as in precision farming. In some cases, these data sources allow for data communication with other computer systems without human intervention via Application Programming Interfaces (APIs). Based on these software interfaces, we developed a system-to-system (S2S) data collection methodology that reduces response burden by automating the business collection process. As far as we know, this method has not been used yet. Applied to the official crop yield survey, a pilot software prototype was developed based on this new methodology.

At the workshop, we will demonstrate how data capture and processing can be automated. Furthermore, the results offered by the prototype in a small-scale field test with real data from a few farmers will be presented. Data quality issues among others, will also be discussed. 

By design, this method is easily extendable. In the short term, we plan to extend it to other agricultural surveys like the crop protection survey. Our methodology can be applied to arable farming in other countries because the main machine manufacturers (for instance, John Deere, CNH Industrial and Claas) provide APIs and have international presence in markets all over the world. Other sectors different from agriculture (for instance, transportation and economic activity tracking are fields where we can find a lot of APIs) can benefit from this methodology too. It can be applied by other National Statistical Institutes because the design is based on standard technologies.

You can find additional information about the workshop here:

• https://statswiki.unece.org/display/ENBES/EESW21+Programme
• https://sites.google.com/enbes.org/eesw21/home (alternative link)

Update (02-Nov-21): paper and slides can be found here 

https://statswiki.unece.org/display/ENBES/EESW21+Programme 

Tutorial de Laravel 8 en formato texto

Recientemente me han pedido que eche una mano en un proyecto basado en Laravel 8. He encontrado bastante material en formato texto sobre versiones más antiguas como la 5 y mucha menos información sobre la versión 8.

Aquí os dejo el enlace al que más me ha convencido: https://www.techjblog.com/index.php/laravel-tutorial-for-beginners/. Es un buen tutorial de nivel básico, por lo que creo que es una buena manera de iniciarse en el mundo de Laravel. Además, suscribiéndose, es posible descargar el código fuente.

Introducción al diseño de sistemas web

Extensión de navegador para habilitar temas oscuros

 

https://darkreader.org/

A pilot with System-to-System data communication applied to John Deere data

On November 13th, I participated in the BigSurv20 conference. Ger Snijkers and I presented our project: "A pilot with System-to-System data communication applied to John Deere data". You can find our presentation video below.