Haga estudios de investigación web visionarios utilizando datos web profundos y consultas web de Excel

¿Qué dirías si te dijera que tienes las herramientas a tu disposición para hacer investigaciones innovadoras y devastadoras? Bueno, lo haces, y te mostraré cómo.

Gobiernos, instituciones académicas y organizaciones de investigación sin fines de lucro publican tablas llenas de datos para el dominio público. Sin que nadie use esta información, su verdadero valor nunca será conocido. Desafortunadamente, pocas personas tienen la información, las habilidades o las herramientas para tomar los datos y hacer correlaciones interesantes entre información aparentemente no conectada.

Fondo

Gran parte de la investigación que hago para mi propio blog consiste en investigar lo que se conoce como los motores de búsqueda invisibles de la web 10 para explorar la web invisible Los motores de búsqueda para explorar la web invisible Estamos familiarizados con la web. Pero, ¿sabía que hay una gran cantidad de información que los motores de búsqueda como Google no tienen acceso directo? Esta es la web invisible. Leer más, para descubrir datos que se han publicado al público, pero ocultos a los motores de búsqueda Los 5 motores de búsqueda más avanzados en la web Los 5 motores de búsqueda más avanzados en la web Lea más dentro de una base de datos en línea. Esta es la web profunda que TorSearch tiene como objetivo ser Google For The Deep Web. TorSearch tiene la finalidad de ser Google For The Deep Web. Tor es un servicio oculto y parte de Deep Web. TorSearch es un nuevo motor de búsqueda anónimo que su fundador Chris MacNaughton quiere hacer “Google de Tor”. Leer más, y está lleno de datos valiosos. Muy a menudo, me encuentro con páginas web repletas de algunos de los datos más valiosos sobre temas que van desde los datos del censo hasta los estudios epidemiológicos sobre enfermedades raras. Constantemente tengo nuevas ideas sobre cómo probar y correlacionar esas fuentes de datos dispares usando varias herramientas, y una de las herramientas más valiosas que he encontrado es la consulta web dentro de Microsoft Excel.

Encontrar correlaciones de datos interesantes

Lo que voy a mostrarles hoy es un ejemplo de cómo puede hacer uso de las consultas web de Excel para extraer datos de diferentes sitios web, y compararlos entre sí para buscar posibles correlaciones entre los datos..

La manera de comenzar un ejercicio como este es llegar a una hipótesis interesante. Por ejemplo, para mantener las cosas interesantes aquí, postularé aleatoriamente que las crecientes tasas de autismo en los Estados Unidos son causadas por la inoculación de vacunas o la creciente presencia de campos electromagnéticos en y alrededor de los niños, como los teléfonos celulares. Es una hipótesis loca como la que encontrarás en la mayoría de los sitios web de teoría de la conspiración, pero eso es lo que hace que esto sea divertido. Así que vamos a empezar, vamos?

Primero, abra Excel, vaya al ítem del menú de datos, y encuentre el “De la web” icono en la cinta de menú.

Esto es lo que utilizará para importar las diferentes tablas de datos de los muchos sitios web que las han publicado..

Importación de datos web en Excel

Por lo tanto, en los viejos tiempos, tendría que intentar copiar los datos de esa tabla en una página web, pegarlos en Excel y luego lidiar con todos los problemas de formateo involucrados en eso. Total molestia, y muchas veces simplemente no vale la pena el dolor de cabeza. Bueno, con Excel Web Queries, esos días se han ido. Por supuesto, antes de que pueda importar los datos, necesitará buscar en Google en la Web para encontrar los datos que necesita en formato de tabla. En mi caso, encontré un sitio web que había publicado las estadísticas del Departamento de Educación para el número de estudiantes de escuelas públicas de EE. UU. Que se identificaron como autistas. Una bonita mesa allí proporcionó números desde 1994 hasta el 2006..

Así que simplemente haga clic en “De la web”, pegue la URL de la página web en el campo de dirección de consulta, y luego desplácese hacia abajo en la página hasta que vea la flecha amarilla junto a la tabla con los datos que desea importar.

Haga clic en la flecha para que se convierta en una marca de verificación verde.

Finalmente, dígale a Excel qué campo desea pegar los datos de la tabla dentro de su nueva hoja de cálculo.

Entonces - ¡voila! Los datos fluyen automáticamente a su hoja de cálculo.

Por lo tanto, con una tendencia en las tasas de autismo en las escuelas públicas desde 1996 hasta 2006, es hora de salir en busca de vacunación y tendencias en el uso de teléfonos celulares también..

Afortunadamente, rápidamente encontré tendencias para los suscriptores de teléfonos celulares en los EE. UU. Desde 1985 hasta 2012. Excelentes datos para este estudio en particular. Una vez más, utilicé la herramienta de consulta web de Excel para importar esa tabla.

Importé esa mesa en una hoja nueva y limpia. Luego, descubrí las tendencias de vacunación para el porcentaje de escolares vacunados contra diferentes enfermedades. Importé esa tabla usando la herramienta de consulta web en una tercera hoja. Así que, finalmente, tuve tres hojas con las tres tablas llenas con los datos aparentemente desconectados que había descubierto en la Web.

El siguiente paso es usar Excel para analizar los datos e intentar identificar cualquier correlación. Ahí es donde entra en juego una de mis herramientas favoritas de análisis de datos: la tabla dinámica.

Analizar datos en Excel con la tabla dinámica

Es mejor crear su tabla dinámica en una hoja nueva, vacía. Desea utilizar el asistente para lo que está por hacer. Para habilitar el asistente de tabla dinámica en Excel, debe presionar Alt-D al mismo tiempo hasta que aparezca una ventana de notificación. Luego suelte esos botones, y presione “PAG” llave. A continuación, verá el asistente emergente.

En la primera ventana del asistente, desea seleccionar “Múltiples rangos de consolidación.”, que le permite seleccionar los datos de todas las hojas que ha importado. Al hacer esto, puede consolidar todos esos datos aparentemente no relacionados en un único y potente pivotable. En algunos casos, es posible que necesite masajear algunos de los datos. Por ejemplo, tuve que arreglar el “Año” campo en la tabla de autismo para que se muestre “1994” en lugar de “1994-95” - haciendo que se alinee mejor con las tablas en las otras hojas, que también tenían el campo del año primario.

Ese campo común entre los datos es lo que necesita para probar y correlacionar la información, así que tenga esto en cuenta cuando busque en la web sus datos..

Una vez que se hace la tabla dinámica y se muestran todos los valores de datos diferentes en una tabla, es hora de hacer un análisis visual para ver si hay alguna conexión obvia que salte a la vista..

Visualizar datos es clave

Tener un montón de números en una tabla es genial si eres economista, pero es la forma más rápida y fácil de tener eso. “aha!” El momento en el que estás tratando de encontrar conexiones como una aguja en un pajar, es a través de tablas y gráficos. Una vez que tenga su PivotChart en su lugar con todos los conjuntos de datos que ha recopilado, es el momento de crear su gráfico. Por lo general, un gráfico de líneas funcionará mejor, pero depende de los datos. Hay momentos en que un gráfico de barras funciona mucho mejor. Intente comprender qué tipo de datos está viendo y qué comparaciones de formularios funcionan mejor.

En este caso, estoy viendo los datos a lo largo del tiempo, por lo que un gráfico de líneas es realmente la mejor manera de ver las tendencias a lo largo de los años. Al registrar las tasas de autismo (verde) contra las tasas de vacunación reducidas (azul oscuro), las vacunas contra la varicela (azul claro) y el uso de teléfonos celulares (púrpura), de repente apareció una extraña correlación en este conjunto de datos de muestra con los que estaba jugando..

Por extraño que parezca, la tendencia en el uso de teléfonos celulares desde 1994 hasta 2006 casi coincidió perfectamente con el aumento en las tasas de autismo durante el mismo período de tiempo. Si bien el patrón fue completamente inesperado, es un ejemplo perfecto de cómo unir datos interesantes puede revelar pistas fascinantes, lo que le brinda mayor conocimiento y motivación para seguir avanzando y buscar más datos que puedan reforzar su hipótesis..

Una correlación como la anterior no prueba nada. Hay muchas tendencias que aumentan con el tiempo; el patrón podría ser una coincidencia, pero también podría ser una pista importante en su búsqueda actual de más datos en Internet. Afortunadamente, tienes una poderosa herramienta llamada Excel Web Queries que hará que la búsqueda sea un poco más fácil.

Crédito de la foto: Kevin Dooley vía photopin cc

Explorar más sobre: ​​Microsoft Excel.