Как выгружать данные с Google Analytics без сэмплирования за весь период ?

В статье описывается метод выгрузки данных без сэмплирования с использованием R скрипта с Google Analytics. При выгрузке агрегированных данных с более чем 500 тыс. сеансов за указанный период дат получаем сообщение о том, что отчет построен на выборке данных, что не отображает точные данные.

Детальнее о сэплировании данных в Cправке Google Analytics

Решение

Использование R скрипта позволяет упростить процесс получения данных с GA. Для данной задачи будем использовать rga.

Плюсы и минусы пакета skardhamar/rga:

Плюсы:

1. Удобное решение с простой настройкой и поддержкой всех регулярных выражений Google Analytics API
2. Возможность обойти ограничения в 10 000 по количеству выгружаемых строк.
3. Возможность обойти большинство ситуаций с сэмплированием данных.

Минусы:

1. Нельзя настроить расписание запуска скрипта через Windows Sheduler, так как не поддерживается аутентификация через сервисный аккаунт. Поддерживается только аутентификация, которая использует интерактивную среду (браузер).
2. Если количество сессий в день превышает 500 000 сэмплирование данных полностью обойти не удастся.

О том, как настроить сервисный аккаунт и применить его для автоматизации сохранения данных из Search Console можно почитать в статье «Как автоматизировать сохранение истории запросов из Search Console» .

Подготовка к запуску R скрипта

1. Бесплатно устанавливаем R и R Studio
2. Устанавливаем и подключаем следующие библиотеки:

   ## Устанавливаем devtools для установки других пакетов из GitHub
   install.packages("devtools")
   library(devtools)
   ## Устанавливаем curl для работы с различными протоколами URL типа
   install.packages("curl")
   library(curl)
   ## Устанавливаем RGA из GitHub для работы с Google Analytics
   install_github("skardhamar/rga")
   library(rga)

   Для того, чтобы запустить часть скрипта в R Studio необходимо просто вставить часть кода в Console, который находится внизу экрана и нажать Enter. Если установка прошла успешно вы получите похожие уведомления об успешной установке:

   Installing package(s) into 'D:/R/library'(as 'lib' is unspecified)
   ....
   opened URL
   downloaded 165 Kb
   package 'devtools' successfully unpacked and MD5 sums checked ....

3. Авторизируемся в Google аккаунт:

   rga.open(instance="ga")

4. Далее откроется окно браузера, где нужно будет пройти аутентификацию:
5. Копируем код
   
6. Вставляем его в консоль в R Studio:
7. Далее заканчиваем процесс подготовки к парсингу данных:

   options(RCurlOptions = list(verbose = FALSE, capath = system.file("CurlSSL", "cacert.pem", package = "RCurl"), ssl.verifypeer = FALSE))
   rga.open(instance="ga", where="~/ga.rga")

8. Далее запускаем оставшуюся часть скрипта, которая включает функцию парсинга данных с Google Analytics API:

   todaydate <- Sys.Date()
   ga.data= ga$getData("ga:000000000",
                             batch = TRUE,
                             walk = TRUE,
                             "2015-01-01",
                             todaydate,
                             metrics = "ga:newusers",
                             dimensions = "ga:landingPagePath,ga:date,ga:country",
                             sort = "-ga:newusers",
                             filter = "ga:medium==organic;
                                       ga:newusers>0;
                                       ga:landingPagePath=~skype|online;
                                       ga:landingPagePath!@?")
   write.csv(ga.data, file = "C:/Users/User/Documents/R/ga-analyze.csv")

Отслеживать, как проходит парсинг данных можем в консоле во время работы скрипта в консоле. Если идет сэмлирование на уровне 1го дня, то соответсвующую информацию можно будет увидеть в консоле. Так же видно, сколько результатов (строк) вернул скрипт:

О использовании ga$getData():

ga$getData(ids, start.date, end.date, 
           metrics = "ga:visits", dimensions = "ga:date", 
           sort = "", filters = "", segment = "",
           start = 1, max = 1000)

Используя информацию из описания пакета привожу сжатую адаптированую версию.

Переменные (* — обязательные):

ids* — идентификатор представления. Берем из URL представления.

Как пример, https://analytics.google.com/analytics/web/?hl=ru&pli=1#report/acquisition-channels/a93098041w137689899p142050820/%3Fexplorer-table.secSegmentId%3Danalytics.landingPagePath%26explorer-table.plotKeys%3D%5B%5D/ .

Записываем в формате «ga:142050820«

start.date* — начало диапазона
end.date* — конец диапазона. Можем использовать функцию Sys.Date(), если нужны данные до текущего момента.
metrics* — задаем параметры (атрибуты) Google Analytics. То как будут агрегироваться наши данные.
dimensions* — показатели (количественные значения) Google Analytics. Какие количественные данные получаем: сессии, пользователи, показатели отказала, количество транзакций и т.д.
sort = «» — задаем параметр и тип сортировки данных.
filters = «» — фильтрация результатов
segment = «» — идентификатор сегмента данных
start = 1 — индекс первого результата (строки)
max = 1000 — максимальное количество желаемых результатов (строк).

start и max использовать нет необходимости, если мы планируем использовать batch = TRUE, walk = TRUE:

batch = TRUE — определяет тип сбора данных таким образом, что данные будут считываться пошагово, таким образом нет ограничения по количеству строк. Нельзя одновременно использовать параметр функции max и batch = TRUE, так как таким образом значение batch = TRUE игнорируется и будет получено количество строк, указанное в max.

walk = TRUE — указывает на то, что данные будут собираться по дням, а затем агрегироваться, как указано в функции. Таким образом обходим сэмлинг данных.

Выводы

Решение отлично подходят для большинства проектов, где количество сессий не превышает 500 000 в день.

1. Можем получать данные из GA за любой период с поддержкой синтаксиса Google Analytics API
2. Получаем данные, обходя ограничение в 10 000 строк и сэмлирование данных за большой период времени.