Webscraping con R - descargando noticias sobre petróleo

Prerequisitos

Antes de entrar de lleno al contenido que nos trae por aquí, debo advertirles que es importante aprender algo de HTML y CSS para dominar por completo esta técnica de recolección de datos. Yo tengo unos meses aprendiendo y en la medida en la que avanzo logro entender más rápido qué debo hacer para sacar las informaciones que necesito. De todas formas, en este ejemplo estaremos utilizando un complemento para navegadores que se llama Selector Gadget, que permite, haciendo clic en un elemento, encontrar el CSS selector a utilizar para extraer dicho elemento con las funciones de rvest.

En el enlace anterior pueden seguir los pasos para descargar e instalar el complemento, pero igual vayan entreteniéndose con esto que les ayudará a aprender un poco de HTML y CSS.

Cuando tengan el selector instalado, verán un el ícono de la lupa en la esquina superior derecha de su navegador y estarán listos para empezar.

 # Forma General -------------------------------------------------------------------
   
    < Tag  atributo_1 = valor_1 atributo_2 = valor_2 ...>
        data del nodo
        <\Tag>
`        

# Ejemplos --------------------------------------------------------------------------

# Ejemplo 1 ----------

<div class = "estudiantes">
        <a class = "persona" birth_date = "1992-11-21">Johan Rosa <\a>
        <a class = "persona" birth_date = "1995-01-11">Fulano de Tal<\a>
</div>

# Ejemplo 2 ---------

<div class = "estudiantes">
        <a class = "persona">
          <nombre>Johan Rosa</nombre>
          <birth_date>1992-11-21</birth_date>
        <\a>
        <a class = "persona">
          <nombre>Fulano de Tal</nombre>
          <birth_date>1995-01-11</birth_date>
        <\a>
</div>

nombre {
  background-color: lightblue;
}

birth_date {
  color: white;
  text-align: center;
}

Librerías

# para manejar contenido html y extraer información 
library(rvest) 
# manipular strings
library(stringr) 
# de quí usaremos el pipe (Tambipen podríamos usar library(magrittr))
library(dplyr) 
# para operaciones múltiples sin usar loops
library(purrr) 

1. Generando el URL de las páginas generales

Si entran a las noticias contenidas en la categoría de energía y petróleo o cualquiera de las otras en que hay en oilprice.com, accederán a una página en la que al fondo podrán ver el índice de ventanas con noticias a las que pueden acceder. Con este índice, cuándo cambiamos de una ventana a otra, el URL de la página simplemente varía al final, y varía indicando en qué ventana, de las disponibles, el usuario se encuentra en el momento.

Intenten cambiar de una en una, fíjense cómo varía el URL y una vez observada la lógica con la que se navega por la página creemos, emulando la variación observada, las diferentes url que podemos visitar.

paginas_generales <- paste0(
  "https://oilprice.com/Latest-Energy-News/World-News/Page-",
  1:1024,
  ".html")

head(paginas_generales)

## [1] "https://oilprice.com/Latest-Energy-News/World-News/Page-1.html"
## [2] "https://oilprice.com/Latest-Energy-News/World-News/Page-2.html"
## [3] "https://oilprice.com/Latest-Energy-News/World-News/Page-3.html"
## [4] "https://oilprice.com/Latest-Energy-News/World-News/Page-4.html"
## [5] "https://oilprice.com/Latest-Energy-News/World-News/Page-5.html"
## [6] "https://oilprice.com/Latest-Energy-News/World-News/Page-6.html"

2. Extraer el URL de las noticias individuales

Una vez que se cuenta con la colección de URL por las que vamos a navegar, necesitamos acceder a cada publicación contenida en ellas. Esta parte ya es un poco distinta, y se puede hacer de dos maneras:

• Usando la herramienta de desarrollador del navegador
  1. Hacer clic derecho en la página y presionar opción inspect
  2. Hacer Ctrl + F en sidebar que salió y escribir un fragmento de alguno de los titulares
  3. Ver en el resultado en qué tag de la página está el url del anuncio
  
  

• Usando el selector gadget
  1. Activar el selector en el ícono de la lupa
  2. Hacer clic sobre un titular
  3. copiar el css selector que aparece en la barra de herramientas

Con lo que ya sabemos sobre la estructura de un HTML podemos notar rápidamente que el url de la noticia está contendido en el nodo de clase class = categoryArticle y el url del artículo es un atributo del subnodo .categoryArticle, a de nombre href =.

Con esto tenemos información suficiente para crear una función que, recibiendo como argumento un url de las paginas_generales pueda extraer el url de las noticia individuales, pero antes quiero señalar la principales funciones del paquete rvest que estaremos utilizando y qué hace cada una.

Funciones útiles*

• rvest::read_html para leer las páginas web
• rvest::html_nodes para extraer nodos específicos teniendo un selector css o un xpath
• rvest::html_attr para extraer atributos de uno o varios nodos
• rvest::html_text para extraer el contenido de un nodo en forma de string

Función para extraer los url individuales

# Función para extraer los url de las niticias individuales
get_news_url <- function(url) {
  
  read_html(url) %>% #lee el html
    # Para concentramos en las noticas de cuerpo de la página
    html_nodes('#pagecontent .category') %>%
    # extrae el nodo con los artículos de cada página
    html_nodes('.categoryArticle__content, a') %>% 
    # extrae el atributo que contienen el url 
    html_attr('href') %>% 
    # elimina duplicados, ya que el url de cada noticia
    # está asociciado a varios elementos 
    unique() %>% 
    # excluye los url que no son de noticias (los url
    # que no terminan en .html)
    str_subset("html$") %>% 
    # excluye otros url que no interesan
    str_subset(fixed("Page-"), negate = TRUE)
}

Teniendo esta función simplemente hay que hacer un loop por todas las páginas generales y extraer el url de las noticias individuales.

# Para este ejemplo lo haré para las primeras 10 páginas generales
url_news <- map(paginas_generales[1:10], get_news_url)

# Como el resultado es una lista de lista, hacemos el unpack
url_news <- unlist(url_news)

head(url_news, 3)

## [1] "https://oilprice.com/Latest-Energy-News/World-News/The-Real-Reason-Big-Oil-Bailed-On-Brazil.html"     
## [2] "https://oilprice.com/Latest-Energy-News/World-News/The-Ethanol-Crisis-Has-Claimed-Another-Victim.html"
## [3] "https://oilprice.com/Latest-Energy-News/World-News/Anti-Fracking-Protests-Turn-Violent-In-The-UK.html"

3. Extraer el contenido de las noticias individuales

Ya que tenemos los URL de las noticias individuales, sólo resta extraer de cada página algunos elementos: el texto de la noticia, la fecha y el título. Finalmente tendríamos un dataframe, en el que cada fila corresponda a una noticia y estos elementos formen las columnas o campos.

Para realizar lo antes descrito, seguiremos aplicando functional programming, de manera que crearemos una función que extraiga el todo los elementos de interés de las noticias y evaluaremos dicha función con cada uno de los URL.

Primero vamos a identificar el css selector de cada elemento de la página de la noticia, pero esta vez lo haremos con el selector gadget. Para esto simplemente hacemos clic sobre el elemento que queremos extraer, obviamente después de activar el complemento, y copiamos el css selector que sale en la barra de herramientas.

Selector para el título

Selector para la fecha

Selector para el texto

Ya que tenemos el selector para cada uno de los elementos de las noticias, creemos la función que lo extraiga. La función tendrá una forma sencilla y una secuencia lógica: 1. Leemos el html 2. Se extrae el nodo identificado en los pasos anteriores 3. Extraemos el contenido de cada uno en forma de texto 4. Se crea un dataframe con estos elementos

Función para extraer el contenido de las noticias

get_news_text <- function(url) {

# Lee el html  
news_html <- read_html(url)

# Extrae el título 
header <- news_html %>%
  # selecciona el nodo con el título
  html_node("h1") %>% 
  # extrae el contenido del nodo
  html_text() 

# Extrae la fecha    
date <- news_html %>%
    html_node('.article_byline') %>% 
    html_text() %>%
    str_remove("^.*- ")  

# Para el texto agregamos unas cositas extra,
# aquí el texto viene separado por párrafos,
# de modo que se útil pegarlo todo junto.
# Para esto usa la función past0
text <- news_html %>%
  html_nodes("#news-content p") %>%
  html_text() %>%
  paste0(collapse = " ") %>%
  str_trim()

# Creo un dataframe con todos los elementos 
news <- data.frame(
  date = date,
  header = header,
  text = text,
  stringsAsFactors = FALSE
)

return(news)

}

Ya que tenemos la función, hagamos la descarga de las primeras 10 noticias. En este paso seguiremos el mismo enfoque que usamos para extraer los url de las noticias individuales.

# descargar los elementos de cada noticia
news <- map(url_news[1:10], get_news_text)

# Combinar las filas del data frame
news <- bind_rows(news)

# Ver las primeras observaciones
head(news, 2) %>%
  glimpse()

## Rows: 2
## Columns: 3
## $ date   <chr> "Nov 07, 2019, 2:30 PM CST", "Nov 07, 2019, 1:30 PM CST"
## $ header <chr> "The Real Reason Big Oil Bailed On Brazil", "The Ethanol Crisis~
## $ text   <chr> "This year’s final oil auction in Brazil ended in a flop on Thu~