Валентин Арьков - Бизнес-аналитика. Извлечение, преобразование и загрузка данных

— Моя папка.

Эти слова не сообщают читателю ничего полезного.

Рис. 5.2. Папка для котировок

Задание. Создайте папку для котировок.

Мы будем экспортировать котировки на сайте компании «Финам»:

https://www.finam.ru/

Переходим в следующий раздел сайта:

Теханализ — Экспорт котировок.

Выбираем торговую площадку:

МосБиржа акции

Указываем название актива:

ГАЗПРОМ ао.

Выбираем интервал:

один год.

Периодичность:

1 день.

Нажимаем кнопку

Получить файл (рис. 5.3).

Сохраняем данные в файл типа * . CSV.

Рис. 5.3. Настройки экспорта котировок

Задание. Экспортируйте котировки двух выбранных компаний.

Просматриваем содержимое полученных файлов с помощью Блокнота(рис. 5.4):

Open with — Notepad.

Видим, что разделитель полей — точка с запятой.

Разделитель целой и дробной частей — точка.

В нашем файле есть заголовки.

Рис. 5.4. Содержимое файла котировок

Задание. Изучите содержимое полученных файлов.

Для загрузки файлов из каталога выбираем в верхнем меню следующий пункт:

Data — Get & Transform Data — From File — From Folder.

Всплывающая подсказка поясняет, что мы можем сделать с помощью этого инструмента (рис. 5.5).

Рис. 5.5. Загрузка файлов из каталога

В диалоговом окне Folder (Папка) выбираем каталог для загрузки файлов (рис. 5.6).

Нажимаем кнопку OK.

Рис. 5.6. Выбор каталога для загрузки

Задание. Вызовите загрузку файлов из вашего каталога.

Появляется диалоговое окно для настройки варианта загрузки (рис. 5.7).

Нам предлагают объединить данные из всех файлов в указанном каталоге:

Combine & Transform Data.

Попробуем это проделать.

Рис. 5.7. Выбор файлов для загрузки

Задание. Выберите вариант объединения и преобразования данных.

Появляется диалоговое окно объединения данных из файлов:

Combine Files.

Рассматриваем пример распознанного содержимого файлов (рис. 5.8).

Здесь также указана кодировка исходных файлов и разделитель полей.

Нажимаем кнопку ОК.

Рис. 5.8. Настройка объединения файлов

Следующее окно — редактор запросов (рис. 5.9):

Power Query Editor.

Рассмотрим полученную таблицу.

Первая строка использована для формирования заголовков.

Даты представлены как целые числа.

Последние 5 столбцов — числовые значения.

Рис. 5.9. Редактор запросов

Задание. Загрузите данные и изучите форму запроса.

Теперь можно заняться очисткой и преобразованием данных.

Попробуем удалить лишние столбцы:

— Source_Name;

— PER;

— TIME.

Щёлкаем правой кнопкой по первому столбцу и выбираем в контекстном меню:

Remove.

Удалим два других лишних столбца.

Нажимаем кнопку Закрыть и загрузить:

Close & Load.

Рис. 5.10. Удаление столбца

Задание. Удалите лишние столбцы.

Наши файлы имеют однотипный формат. В первой строке файла расположены названия полей (столбцов).

Рассмотрим объединённую таблицу (рис. 5.11).

На границе данных по Газпрому и Сбербанку лишних строк не наблюдается.

Будем считать, что заголовки обработаны корректно. Теперь у нас один общий заголовок.

Рис. 5.11. Результаты загрузки

Задание. Рассмотрите данные в полученной таблице и убедитесь в отсутствии лишних строк (второго заголовка).

Возвращаемся к редактору запросов.

Щёлкаем правой кнопкой по нашему запросу и выбираем в контекстном меню редактирование:

Edit.

Проверим, что у нас есть в колонке тикеров (рис. 5.12).

Нажимаем кнопку фильтрации в заголовке первого столбца.

Список значений содержит всего два варианта:

— GAZP

— SBER

Мы ещё раз убедились, что первая строка второго файла была удалена, и у нас не появился второй заголовок. Надеемся, что загрузка следующих файлов пройдёт точно так же.

Рис. 5.12. Проверка лишних строк

Задание. Вызовите меню фильтрации и изучите значения в ячейках первого столбца.

Поработаем со столбцом дат.

Здесь четыре цифры года, две цифры месяца и две цифры числа.

Щёлкнем по столбцу дат и попробуем выбрать тип значений — Дата:

Home — Transform — Data Type — Date.

Попытка не удалась. Во всех ячейках столбца выводится сообщение об ошибке (рис. 5.13).

Нажимаем красный крестик в списке применённых шагов и откатываем последнее преобразование.

Рис. 5.13. Ошибка преобразования типа «Дата»