Как автоматизировать сохранение истории запросов из Search Console

В статье речь пойдет о том, как получать статистику по дням в 1 клик и настроить автоматическое сохранение истории запросов без помощи программиста.

При работе с интерфейсом Search Console есть несколько существенных недостатков, которые сильно замедляют процесс получения, обработки и анализа данных:

• Отсутствие истории запросов более чем за 90 дней
• Проблема с выгрузкой полного объема данных (разовая выгрузка до 1000 запросов)
• Неудобный интерфейс, отсутствие фильтрации по регулярным выражениям

Получить данные о поисковых запросах за последние 90 дней с возможностью их перезаписи и обновления можно при помощи Google Spreadsheets и дополнения Search Analytics for Sheets.

Но при этом мы не видим и не можем получить статистику по дням в 1 клик, а сохранять исторические данные придется вручную.

Решение

Данную проблему можно решить при настройке автоматического запуска R Script. В статье мы рассмотрим:

1. Запуск R и R Studio
2. Настройка автоматической аутентификации в аккаунт Google.
3. Парсинг поисковых запросов при помощи R скрипта
4. Дозапись в файл новой статистики по запросам
5. Настройка расписания запуска R скрипта

На выходе получаем таблицу с упорядоченным набором данных (Tidy Data). Такие данные легко использовать для анализа и построения BI моделей, которые не требуют дополнительного структурирования.

Запуск R и R Studio

1. Для начала нужно скачать и установить R. Скачать R Studio для некоммерческого использования можно бесплатно на официальном сайте.
2. После запуска R Studio создаем R Script
3. Установка и подключение библиотек.

Пакет googleAuthR используем для аутентификации в Google аккаунт. Пакет searchConsoleR используется для импорта данных и управления проектом в Search Console.

# Установка пакетов
install.packages("googleAuthR")
install.packages("searchConsoleR")
# Подключение библиотек
library(googleAuthR)
library(searchConsoleR)

Установка прошла успешно:

Запускаем часть кода просто скопировав нужные строки в R Console и нажав Enter:

Автоматическая авторизация в аккаунт Google.

Для того, чтобы впоследствии настроить автоматическое обновление данных из Search Console необходимо настроить Сервисный аккаунт Google и создать файл client_secret.json, который будет использоваться для аутентификации каждый раз при запуске R скрипта.

1. Создаем проект в Google Developers Console
2. Переходим в “Учетные данные”, а затем в настройки API
3. Выбираем из списка Google Search Console API и включаем его:
4. Теперь необходимо настроить учетные данные
5. Создаем новый сервисный аккаунт:
6. Выставляем настройки. Имя сервисного аккаунта может быть любое.При создании ключа сервисного аккаунта в следующем всплывающем окне выбираем “Создать без роли”.
7. После этого появится окно для сохранения файла json. Сохраняем secret json в надежное место. Этот файл в дальнейшем мы будем использовать для авторизации.
8. Теперь сервисному аккаунту необходимо открыть полный доступ в панели Search Console.

• Для этого переходим в “Управление сервисным аккаунтом”.
• В настройках включаем полный доступ к аккаунту.
• Далее копируем идентификатор сервисного аккаунта
• Переходим в панель Search Console https://www.google.com/webmasters/tools/user-admin?hl=en&siteUrl=
• Выбираем проект и добавляем нового пользователя с полными правами:

Важно: Для выполнения данного действия необходимо, чтобы у вас были права владельца. Если получить их не получится, необходимо обратиться к пользователю с правами владельца, чтобы добавить указанный идентификатор сервисного аккаунта с полными правами.

На этом внешние настройки закончены переходим в R Studio и добавляем строку:

service_token <- gar_auth_service("C:/Users/путь-к-вашему-service-token.json")

Парсинг и дозапись данных в файл:

1. Далее запускаем можем использовать следующий R-Script для парсинга и обновления файла с данными.

# Подключение библиотек
library(googleAuthR)
library(searchConsoleR)

# Авторизация в аккаунт Google
service_token <-gar_auth_service("C:/Users/Anastasiya/Documents/R/Docs/service_gsc_1.json")

# Пишем дату запуска скрипта в log
message(Sys.time(),"\r",appendLF=TRUE)

# Указываем название сайта в таком же виде, как он находится в Search Console
website <- "https://preply.com/"

# Указываем путь расположения файла. Можно сохранять файл прямо к себе на One Drive
path <- "C:/Users/Anastasiya/OneDrive/OneDrive - Preply, Inc/csv_data/search-console.csv"

# Последняя интересующая нас дата. Обычно -3 дня от текущей
end <- Sys.Date() - 3

# Проверяем существует ли уже файл. Таким образом будет выбрано парсить с последней даты в файле или за последние 90 дней.
if (file.exists(path)) {
                # Считываем файл, будем использовать его для добавления новых данных
                data <- read.table(file=path, sep=",", header=T)
                data$date <- as.Date(as.character.Date(data$date, format = "%m/%d/%y"))
                start <- max(data$date) + 1
       } else {
                # Создаем пустую переменную, куда будем парсить данные за 90 дней
                data <- data.frame()
                start <- Sys.Date() - 90
}
# Устанавливаем русскоязычную кодировку, чтобы видеть русскоязычные запросы в интерфейсе R Studio
Sys.setlocale("LC_ALL","russian")

# Будем считывать данные по дням в цикле, начиная с первой даты, которую мы задали на предыдущем шаге
date <- start

# Фиксируем длину начального data frame
rows_count <- nrow(data)

# Если вдруг дата старта превышает конечную дату, ничего не произойдет.
while (date <= end){
      data_part <- search_analytics(siteURL = website,
                                    startDate = date,
                                    endDate = date,
                                    dimensions = c('date','page','query','country'), 
                                    searchType = c('web'),
                                    rowLimit = 1000000,
                                    walk_data = 'none'
                                    )

      # Объединяем новые данные с текущими
      data <- rbind(data,data_part)
      date <- date + 1
}

# Перезаписываем файл, если наш data frame не меньше, чем изначальный
if(nrow(data) < rows_count) {
                message("File hasn't update","\r",appendLF=FALSE)
       } else {
                write.csv(data, file = path, row.names=FALSE)
}

О функции search_analytics()

Ниже привожу перевод справки создателя пакета searchConsoleR Mark Edmondson:

search_analytics(siteURL,
                 startDate = Sys.Date() - 93,
                 endDate = Sys.Date() - 3,
                 dimensions = NULL,
                 searchType = c("web", "video", "image"),
                 dimensionFilterExp = NULL,
                 aggregationType = c("auto", "byPage",  "byProperty"),
                 rowLimit = 1000,
                 prettyNames = TRUE,
                 walk_data = c("byBatch", "byDate", "none")
                )

Аргументы

siteURL	Имя сайта из Search Console, к которому у вас есть доступ
startDate	Дата начала требуемого интервала, в YYYY-MM-DD.
endDate	Дата конца требуемого интервала, в YYYY-MM-DD.
dimensions	0 или больше параметров для сегментирования данных (колонки): «date», «country», «device», «page» or «query»
searchType	Тип поиска, по умолчанию ‘web’.
dimensionFilterExp	Символьный вектор, который задает фильтр. Пример, («device==TABLET», «country~~GBR»)
aggregationType	Как данные будут агрегированы.
rowLimit	Сколько строк, максимально 5000.
walk_data	Для создания вызова API. Один из («byBatch»,»byDate»,»none»)

Детально

startDate, endDate: Оба значения включаются в диапазон.

dimensions: [Не обязательно] Группировка значений параметров объединяются, чтобы создать уникальный ключ для каждой строки результата. Если параметры не указаны, все значения будут объединены в одну строку.

dimensionFilterExp: [Не обязательно] Фильтрация использует следующий синтаксис: («device==TABLET», «country~~GBR», «dimension operator expression«)

dimension

• ‘country’
• ‘device’
• ‘page’
• ‘query’

operator

• ‘~~’ содержит
• ‘==’ равно
• ‘!~’ не содержит
• ‘!=’ не равно

expression

• country: код страны в формате ISO 3166-1 alpha-3 country code.
• device: ‘DESKTOP’,’MOBILE’,’TABLET’.
• page: синтаксис не проверяется, текстовая строка с URL без имени домена.
• query: синтаксис не проверяется, строка с ключевым словом.

searchType: [Не обязательно] Допустимые значения:

• «web»: [По умолчанию] Web search results
• «image»: Image search results
• «video»: Video search results

aggregationType: [Не обязательно]

• «auto»: [По умолчанию] Агрегируются по умолчанию
• «byPage»: Агрегируются по URL.
• «byProperty»: Агрегируются по свойству.

Детальнее можно ознакомится в справке по Search Console API

walk_data: Постепенный вызов запросов с помощью multiple API calls

• byBatch — вызов постепенно (до 5000 строк)
• byData — по дням
• none  — разовый вызов

Комментарий:

По моему опыту параметры byBatch и byData не всегда выдают максимально полные данные. Поэтому я выбираю ‘none’ и слежу за полнотой данных вручную. Для получения более полных данных можно сделать следующее:

• уменьшить количество параметров для сегментирования данных
• воспользоваться фильтрами и вызвать функцию с разными фильтрами в рамках цикла.

Как проверить полноту данных:

Обращаем внимание на следующее:

• Количество строк, полученное из одного запроса. Количество строк должно быть значительно ниже, чем возможны предел. (Например, для вызова без параметров, это 5000 строк, а для вызова с 4 параметрами по моему опыту около 1000-1500)
• Визуальный анализ данных по количеству показов и кликов:

Если данные о кликах и показах в рамках одной даты обрезает до 2, или кликов со значением 0 не присутствует вообще, то данные не полные.

Настройка расписания запуска R скрипта:

Данный пакет использует Windows Task Scheduler.

1. Устанавливаем пакет “taskscheduleR”

   library(devtools)
   install.packages("devtools")
   install_github("jwijffels/taskscheduleR")
   library(taskscheduleR)
   

2. Переходим в настройки расписания
3. И настраиваем расписание запуска скрипта:

• При запуске скрипта создается файл логов, где можно отслеживать успешные/неуспешные запуски.

• При создании второго расписание для скрипта с тем же названием, предыдущее расписание удаляется.
• Если компьютер выключен в момент, когда должен запуститься скрипт, то скрипт не будет запущен до следующего времени в расписании, либо до ручного запуска. Но при следующем запуске все данные (которые не были записаны в прошлом спарсятся при условии, если прошло не более 90 дней между запусками)

Более детально о том, как настроить расписание запуска R скрипта.

Выводы

• Использования данного скрипта помогает существенно облегчить задачу получение и сохранения данных из Search Console.
• Возможность автоматического обновления данных помогает ускорить процесс работы.
• На выходе получаем данные, структурированные как tidy data, что помогает создавать любые BI модели и отчеты. Например,