майкрософт query для чего нужен

Что такое Power Query?

Power Query — это преобразование данных и подсистема подготовки данных. Power Query поставляется с графическим интерфейсом для получения данных из источников и редактором Power Query для применения преобразований. Так как ядро доступно во многих продуктах и службах, место хранения данных зависит от того, где будет использоваться Power Query. С помощью Power Query можно выполнить обработку данных для извлечения, преобразования и загрузки (ETL).

схема с символьными источниками данных справа, передача Power query для преобразования, а затем переход к различным назначениям, таким как Azure Data Lake Storage, инверсия, Microsoft Excel или Power BI.

Как Power Query помогает при получении данных

Бизнес-пользователи тратят до 80 % времени на подготовку данных, что откладывает работу по анализу и принятии решений. В этом случае возникает несколько трудностей, и Power Query помогает решить многие из них.

Power Queryные возможности

Power Query взаимодействие с пользователем осуществляется с помощью пользовательского интерфейса редактора Power Query. Цель этого интерфейса — помочь вам применить необходимые преобразования, просто взаимодействуя с удобным для пользователя набором лент, меню, кнопками и другими интерактивными компонентами.

Редактор Power Query — это основной процесс подготовки данных, позволяющий подключаться к широкому спектру источников данных и применять сотни различных преобразований данных путем предварительного просмотра данных и выбора преобразований из пользовательского интерфейса. Эти возможности преобразования данных являются общими для всех источников данных, независимо от ограничений базовых источников данных.

При создании нового шага преобразования путем взаимодействия с компонентами интерфейса Power Query Power Query автоматически создает код M, необходимый для преобразования, поэтому вам не нужно писать какой-либо код.

В настоящее время доступны два Power Queryные возможности:

Несмотря на то, что существует два Power Queryных опыта, они предоставляют практически одинаковый пользовательский интерфейс в каждом сценарии.

Преобразования

Модуль преобразования в Power Query включает множество встроенных функций преобразования, которые можно использовать в графическом интерфейсе редактора Power Query. Эти преобразования могут быть простыми, например удалением столбца или фильтрацией строк, или, как правило, при использовании первой строки в качестве заголовка таблицы. Существуют также дополнительные параметры преобразования, такие как слияние, добавление, группирование, сведение и отмена свертывания.

Все эти преобразования становятся возможными благодаря выбору параметра преобразование в меню, а затем применению параметров, необходимых для этого преобразования. На следующем рисунке показаны некоторые преобразования, доступные в редакторе Power Query.

Потоки данных

Power Query могут использоваться во многих продуктах, таких как Power BI и Excel. Однако использование Power Query в рамках продукта ограничивает его использование только этим конкретным продуктом. Потоки данных — это зависящая от продукта версия службы Power Query интерфейсе, которая выполняется в облаке. используя потоки данных, можно получать данные и преобразовывать данные таким же образом, но вместо отправки выходных данных в Power BI или Excel можно сохранить выходные данные в других вариантах хранения, таких как «инверсия» или «Azure Data Lake Storage. Таким образом, можно использовать выходные данные потоков данных в других продуктах и службах.

Язык формул Power Query M

В любом сценарии преобразования данных существуют некоторые преобразования, которые не могут быть выполнены наилучшим образом с помощью графического редактора. Для некоторых из этих преобразований могут потребоваться специальные настройки и параметры, которые в настоящее время не поддерживаются графическим интерфейсом. Ядро Power Query использует язык сценариев в фоновом режиме для всех Power Query преобразований: язык формул Power Query M, также известный как M.

Язык M — это язык преобразования данных Power Query. Все, что происходит в запросе, в конечном итоге написано в M. Если вы хотите выполнять расширенные преобразования с помощью подсистемы Power Query, можно использовать Расширенный редактор для доступа к скрипту запроса и изменить его по своему мере. Если вы обнаружите, что функции и преобразования пользовательского интерфейса не будут выполнять нужные изменения, используйте Расширенный редактор и язык M для точной настройки функций и преобразований.

Где можно использовать Power Query?

В следующей таблице перечислены продукты и службы Майкрософт, где можно найти Power Query.

Источник

Power Query: стероиды для MS Excel и Power BI

В данной статье я хочу рассказать о некоторых возможностях бесплатной и крайне полезной, но пока еще мало известной надстройки над MS Excel под названием Power Query.

Power Query позволяет забирать данные из самых разных источников (таких как csv, xls, json, текстовых файлов, папок с этими файлами, самых разных баз данных, различных api вроде Facebook opengraph, Google Analytics, Яндекс.Метрика, CallTouch и много чего еще), создавать повторяемые последовательности обработки этих данных и загружать их внутрь таблиц Excel или самого data model.

И вот под катом вы можете найти подробности всего этого великолепия возможностей.

Совместимость и технические подробности

Power Query доступен бесплатно для всех версий Windows Excel 2010, 2013 и встроен по умолчанию в Windows Excel 2016. Для пользователей MacOS X Power Query недоступен (впрочем, даже без этого маковский Excel отвратителен на ощупь и продвинутые пользователи, включая меня, чаще всего работают с нормальным Excel через Parallels или запуская его на удаленной виндовой машинке).

Также, Power Query встроен в новый продукт для бизнес аналитики — Power BI, а еще, ходят слухи, что Power Query будет появляться и в составе других продуктов от Microsoft. Т.е. Power Query ждет светлое будущее и самое время для адептов технологий Microsoft (и не только) заняться его освоением.

Как оно работает

После установки Power Query в интерфейсе Excel 2010–2013 появляется отдельная одноименная вкладка.

В новом Excel 2016 функционал Power Query доступен на вкладке Data (данные), в блоке “Get & Transform”.

Сначала, в интерфейсе Excel мы выбираем конкретный источник данных, откуда нам их нужно получить, и перед нами открывается окошко самого Power Query с предпросмотром первых строчек загруженных данных (область 1). В верхней части окошка располагается Ribbon с командами по обработке данных (область 2). И в правой части экрана (область 3) у нас расположена панель с последовательностью всех действий, которые применяются к данным.

Возможности Power Query

У Power Query очень много возможностей и я хочу остановиться на некоторых из числа моих любимых.

Как я уже писал выше, Power Query замечателен тем, что позволяет подключаться к самым разным источникам данных. Так он позволяет загружать данные из CSV, TXT, XML, json файлов. Притом процесс выбора опций загрузки тех-же CSV файлов гибче и удобнее, чем он реализован штатными средствами Excel: кодировка автоматически выбирается часто правильно и можно указать символ разделителя столбцов.

Объединение файлов лежащих в папке

Power Query умеет забирать данные из указанной папки и объединять их содержимое в единые таблицы. Это может быть полезно, например, если вам периодически приходят какие-то специализированные отчеты за отдельный промежуток времени, но данные для анализа нужны в общей таблице. Гифка

Текстовые функции

Числовые функции

К столбцам с числовыми значениями по нажатию на кнопки на Ribbon можно применять:

Функции для работы с датами, временем и продолжительностью

К столбцам со значениями даты и времени по нажатию на кнопки на Ribbon можно применять:

Unpivot — Pivot

В интерфейсе Power Query есть функция “Unpivot”, которая в один клик позволяет привести данные с одной метрикой разложенные по столбцам по периодам к форме, которая будет удобна для использования в сводных таблицах (понимаю что трудно написал — смотрите пример). Также, есть функция с обратным действие Pivot. Гифка

Функция ВПР (VLOOKUP) одна из наиболее используемых функций в MS Excel. Она позволяет подтягивать данные в одну таблицу из другой таблицы по единому ключу. И вот как раз для этой функции в Power Query есть гораздо более удобная альтернатива — операция Merge. При помощи этой операции соединение таблиц нескольких таблиц в одну по ключу (по простому или по составному ключу, когда соответствие нужно находить по нескольким столбцам) выполняется буквально в 7 кликов мыши без ввода с клавиатуры.

Операция Merge — это аналог join в sql, и ее можно настроить чтобы join был разных типов — Inner (default), Left Outer, Right Outer, Full Outer.

Upd.Мне тут подсказали, что Power Query не умеет делать Aproximate join, а впр умеет. Чистая правда, из коробки альтернатив нет. Гифка

Подключение к различным базам данных. Query Folding.

Power Query также замечателен тем, что умеет цепляться к самым разным базам данных — от MS SQL и MySQL до Postgres и HP Vertica. При этом, вам даже не нужно знать SQL или другой язык базы данных, т.к. предпросмотр данных отображается в интерфейсе Power Query и все те операции, которые выполняются в интерфейсе прозрачно транслируются в язык запросов к базе данных.

А еще в Power Query есть понятие Query Folding: если вы подключены к совместимой базе данных (на текущий момент это MS SQl), то тяжелые операции по обработке данных Power Query будет стараться выполнить на серверной стороне и забирать к себе лишь обработанные данные. Эта возможность радикально улучшает быстродействие многих обработок.

Язык программирования “М”

Надстройка Power Query — это интерпретатор нового, скриптового, специализированного для работы с данными, языка программирования М.

На каждое действие, которое мы выполняем с данными в графическом интерфейсе Power Query, в скрипт у нас пишется новая строчка кода. Отражая это, в панели с последовательностью действий (область 3), создается новый шаг с говорящим названием. Благодаря этому, используя панель с последовательностью действий, мы всегда можем посмотреть как выглядят у нас данные на каждом шаге обработки, можем добавить новые шаги, изменить настройки применяемой операции на конкретном шаге, поменять их порядок или удалить ненужные шаги. Гифка

Также, мы всегда можем посмотреть и отредактировать сам код написанного скрипта. И выглядеть будет он примерно так:

Язык M, к сожалению, не похож ни на язык формул в Excel, ни на MDX и, к счастью, не похож на Visual Basic. Однако, он очень прост в изучении и открывает огромные возможности по манипуляции данными, которые недоступны с использованием графического интерфейса.

Загрузка данных из Яндекс.Метрики, Google Analytics и прочих Api

Немного овладев языком “M” я смог написать программки в Power Query, которые умеют подключаться к API Яндекс.Метрики и Google Analytics и забирать оттуда данные с задаваемыми настройками. Программки PQYandexMetrika и PQGoogleAnalytics я выложил в опенсорс на гитхаб под лицензией GPL. Призываю пользоваться. И я буду очень рад, если эти программы будут дорабатываться энтузиастами.

Для Google Analytics подобного рода экспортеров в разных реализациях достаточно много, но вот для Яндекс.Метрики, насколько я знаю, мой экспортер был первым публично доступным, да еще и бесплатным 🙂

Power Query умеет формировать headers для post и get запросов и забирать данные из интернета. Благодаря этому, при должном уровне сноровки, Power Query можно подключить практически к любым API. В частности, я для своих исследований дергаю данные по телефонным звонкам клиентов из CallTouch API, из API сервиса по мониторингу активности за компьютером Rescuetime, занимаюсь парсингом нужных мне веб-страничек на предмет извлечения актуальной информации.

Еще раз про повторяемость и про варианты применения

Как я уже писал выше, скрипт Power Query представляет собой повторяемую последовательность манипуляций, применяемых к данным. Это значит, что однажды настроив нужную вам обработку вы сможете применить ее к новым файлам изменив всего один шаг в скрипте — указав путь к новому файлу. Благодаря этому можно избавиться от огромного количества рутины и освободить время для продуктивной работы — анализа данных.

Я занимаюсь веб-аналитикой и контекстной рекламой. И так уж получилось, что с момента, как я познакомился с Power Query в ее интерфейсах я провожу больше времени, чем в самом Excel. Мне так удобнее. Вместе с тем возросло и мое потребление другой замечательной надстройки в MS Excel — PowerPivot.

Вот bi систему, про которую я рассказывал на Yac/M 2015 (видео) я делал полнстью при помощи Power Query и загружал данные внутрь PowerPivot.

Пару слов про локализацию

На сайте Microsoft для пользователей из России по умолчанию скачивается Power Query с переведенным на русским язык интерфейсом. К счастью, локализаторы до перевода на русский языка программирования (как это сделано с языком формул в excel) не добрались, однако жизнь пользователям неоднозначными переводами сильно усложнили. И я призываю вас скачивать, устанавливать и пользоваться английской версией Power Query. Поверьте, она будет гораздо понятнее.

Источник

Извлечение внешних данных с помощью Microsoft Query

Для извлечения данных из внешних источников можно использовать приложение Microsoft Query. Используя Microsoft Query для извлечения данных из корпоративных баз данных и файлов, не нужно повторно вводить данные, которые нужно проанализировать в Excel. Кроме того, вы Excel отчеты и сводные данные из исходной исходной базы данных при обновлении новой информации.

С помощью Microsoft Query можно подключаться к внешним источникам данных, выбирать данные из них, импортировать их на свой сайт и обновлять данные, чтобы данные на вашем компьютере всегда были синхронизированы с данными во внешних источниках.

Типы баз данных, к которые можно получить доступ Вы можете извлекать данные из баз данных нескольких типов, включая Microsoft Office Access, Microsoft SQL Server и Microsoft SQL Server OLAP Services. Вы также можете получать данные из Excel книг и текстовых файлов.

Microsoft Office драйверы, которые можно использовать для получения данных из следующих источников:

Microsoft SQL Server Analysis Services (поставщик OLAP )

Microsoft Office Доступа

Microsoft Office Excel

Базы данных текстовых файлов

Вы также можете использовать драйверы ODBC или драйверы источников данных других производителей для извлечения информации из источников данных, которые здесь не указаны, включая другие типы баз данных OLAP. Чтобы получить сведения об установке драйвера ODBC или драйвера источника данных, который здесь не указан, проверьте документацию к базе данных или обратитесь к поставщику базы данных.

Выбор данных из базы данных Чтобы получить данные из базы данных, создайте запрос ( вопрос о данных, хранимых во внешней базе данных). Например, если данные хранятся в базе данных Access, может потребоваться узнать данные о продажах для определенного продукта по регионам. Вы можете получить часть данных, выбрав только данные для продукта и региона, которые вы хотите проанализировать.

С помощью Microsoft Query можно выбрать нужные столбцы данных и импортировать только эти данные в Excel.

Обновление таблицы за одну операцию После того как в книге Excel есть внешние данные, при внесении изменений в базу данных вы можете обновить данные для обновления анализа, не создав снова сводные отчеты и диаграммы. Например, вы можете создать сводку продаж за месяц и обновлять ее каждый месяц, когда будут приходить новые показатели продаж.

Использование источников данных в Microsoft Query После того как вы настроили источник данных для конкретной базы данных, вы можете использовать его в любой момент, когда захотите создать запрос для выбора и извлечения данных из этой базы данных, не вводить все данные подключения повторно. Microsoft Query использует источник данных для подключения к внешней базе данных и для демонстрации доступных данных. После создания запроса и возврата данных в Excel, Microsoft Query предоставляет книге Excel данные как с запросом, так и с источником данных, чтобы можно было повторно подключиться к базе данных при обновлении данных.

Импорт данных с помощью Microsoft Query чтобы импортировать внешние данные в Excel с помощью Microsoft Query, выполните основные действия, описанные в следующих разделах более подробно.

Что такое источник данных? Источник данных — это хранимый набор сведений, позволяющий Excel и Microsoft Query подключаться к внешней базе данных. При использовании Microsoft Query для работы с источником данных вы даете источнику данных имя, а затем ука вашему имени и расположению базы данных или сервера, тип базы данных, а также сведения о вашем учете и пароле. Эти сведения также включают имя драйвера OBDC или драйвера источника данных — программы, которая создает подключения к базе данных определенного типа.

Чтобы настроить источник данных с помощью Microsoft Query:

На вкладке Данные в группе Внешние данные нажмите кнопку Из другихисточников и выберите из Microsoft Query.

Выполните одно из указанных ниже действий.

Чтобы указать источник данных для базы данных, текстового файла или Excel книги, перейдите на вкладку Базы данных.

Чтобы указать источник данных куба OLAP, перейдите на вкладку Куба OLAP. Эта вкладка доступна, только если вы запустили Microsoft Query из Excel.

Щелкните и нажмите кнопку ОК.

Отобразилось диалоговое окно Создание источника данных.

На шаге 1 введите имя для определения источника данных.

На шаге 2 выберите драйвер для типа базы данных, используемой в качестве источника данных.

Если внешняя база данных, к которой вы хотите получить доступ, не поддерживается драйверами ODBC, установленными с помощью Microsoft Query, необходимо получить и установить драйвер ODBC, совместимый с Microsoft Office, у стороного поставщика, например производителя базы данных. За инструкциями по установке обратитесь к поставщику базы данных.

Для баз данных OLAP драйверы ODBC не требуются. При установке Microsoft Query драйверы устанавливаются для баз данных, созданных с Microsoft SQL Server Analysis Services. Чтобы подключиться к другим базам данных OLAP, необходимо установить драйвер источника данных и клиентское программное обеспечение.

Щелкните Подключение, а затем укажете сведения, необходимые для подключения к источнику данных. Для баз данных, Excel книг и текстовых файлов предоставляемая информация зависит от типа выбранного источника данных. Вам может быть предложено ввести имя для логотипа, пароль, версию используемой базы данных, расположение базы данных или другую информацию, определенную для ее типа.

Используйте надежные пароли, состоящие из букв в верхнем и нижнем регистре, цифр и символов. В ненадежных паролях не используются сочетания таких элементов. Надежный пароль: Y6dh!et5. Ненадежный пароль: House27. Пароль должен состоять не менее чем из 8 знаков. Лучше всего использовать парольную фразу длиной не менее 14 знаков.

Очень важно запомнить свой пароль. Если вы забудете пароль, корпорация Майкрософт не сможет его восстановить. Все записанные пароли следует хранить в надежном месте отдельно от сведений, для защиты которых они предназначены.

После ввода необходимых сведений нажмите кнопку ОК или Готово, чтобы вернуться в диалоговое окно Создание источника данных.

Если в базе данных есть таблицы и вы хотите, чтобы определенная таблица автоматически отображалась в мастере запросов, щелкните поле для шага 4 и выберите таблицу.

Если вы не хотите вводить имя пользователя и пароль при использовании источника данных, в определении источника данных выберите сохранить имя пользователя и пароль. Сохраненный пароль не шифруется. Если этот параметр недоступен, обратитесь к администратору базы данных, чтобы определить, можно ли сделать этот параметр доступным.

Примечание по безопасности: Не рекомендуется сохранять сведения о входе при подключении к источникам данных. Эта информация может храниться в виде обычного текста, и злоумышленники смогут получить с ее помощью доступ к источнику данных.

После выполнения этих действий имя источника данных появится в диалоговом окне Выбор источника данных.

Использование мастера запросов для большинства запросов Мастер запросов упрощает выбор и сбор данных из разных таблиц и полей базы данных. С помощью мастера запросов можно выбрать таблицы и поля, которые вы хотите включить. Внутреннее объединить (операция запроса, которая определяет, что строки из двух таблиц объединяются на основе одинаковых значений полей) создается автоматически, когда мастер распознает поле первичного ключа в одной таблице и поле с одинаковым именем во второй таблице.

Мастер также можно использовать для сортировки набора результатов и простой фильтрации. На завершаемом этапе мастера можно вернуть данные в Excel или уточнить запрос в Microsoft Query. После создания запроса его можно запустить в Excel или в Microsoft Query.

Чтобы запустить мастер запросов, выполните следующие действия:

На вкладке Данные в группе Внешние данные нажмите кнопку Из другихисточников и выберите из Microsoft Query.

Убедитесь в том, что в диалоговом окне Выбор источника данных был выбран вариант Использовать мастер запросов для создания и изменения запросов.

Дважды щелкните нужный источник данных.

Выберите нужный источник данных и нажмите кнопку ОК.

Работа с другими типами запросов непосредственно в Microsoft Query Если вы хотите создать более сложный запрос, чем позволяет мастер запросов, вы можете работать непосредственно в Microsoft Query. С помощью Microsoft Query можно просматривать и изменять запросы, которые создаются в мастере запросов, или создавать новые запросы без использования мастера. Работайте непосредственно в Microsoft Query, если вы хотите создать запросы, которые будут:

Выбор определенных данных из поля В большой базе данных может потребоваться выбрать часть данных в поле и опустить данные, которые вам не нужны. Например, если вам нужны данные для двух продуктов в поле, которое содержит сведения о многих товарах, можно использовать условия для выбора данных только для двух нужных продуктов.

Различными способами для сбора данных Внутренние соединители, которые создает мастер запросов, являются наиболее распространенными типами, используемыми при создании запросов. Однако иногда необходимо использовать другой тип. Например, если у вас есть таблица сведений о продажах продуктов и таблица сведений о клиенте, внутреннее присоединиться (тип, созданный с помощью мастера запросов) предотвращает истощить записи клиентов, которые не сделали покупку. С помощью Microsoft Query вы можете объединить эти таблицы, чтобы получить все записи клиентов, а также данные о продажах для тех клиентов, которые сделали покупки.

Чтобы запустить Microsoft Query, выполните следующие действия:

На вкладке Данные в группе Внешние данные нажмите кнопку Из другихисточников и выберите из Microsoft Query.

В диалоговом окне Выбор источника данных убедитесь в том, что для создания и изменения запросов не заметен диалоговое окно Создание и изменение запросов с помощью мастера запросов.

Дважды щелкните нужный источник данных.

Выберите нужный источник данных и нажмите кнопку ОК.

Повторное использование запросов и общий доступ Как в мастере запросов, так и в Microsoft Query можно сохранить запросы в качестве DQY-файла, который можно изменять, повторно использовать и совместно использовать. Excel можно открывать DQY-файлы напрямую, что позволяет создавать дополнительные диапазоны внешних данных из того же запроса.

Чтобы открыть сохраненный запрос из Excel:

На вкладке Данные в группе Внешние данные нажмите кнопку Из другихисточников и выберите из Microsoft Query. Отобразилось диалоговое окно Выбор источника данных.

В диалоговом окне Выбор источника данных перейдите на вкладку Запросы.

Дважды щелкните сохраненный запрос, который вы хотите открыть. Запрос отображается в Microsoft Query.

Если вы хотите открыть сохраненный запрос, а Microsoft Query уже открыт, откройте меню Файл запроса Майкрософт и нажмите кнопку Открыть.

Если дважды щелкнуть DQY-файл, Excel откроется, выполняется запрос, а затем вставляет результаты на новый.

Если вы хотите поделиться сводной Excel отчетом, основанным на внешних данных, вы можете предоставить другим пользователям книгу, содержаную диапазон внешних данных, или создать шаблон. Шаблон позволяет сохранить сводку или отчет без сохранения внешних данных, чтобы файл был меньше. Внешние данные извлекаются, когда пользователь открывает шаблон отчета.

После создания запроса в мастере запросов или Microsoft Query можно вернуть данные на Excel таблицу. После этого данные становятся диапазон внешних данных или отчет сводной таблицы, которые можно форматирование и обновление.

Форматирование полученных данных В Excel вы можете использовать инструменты, например диаграммы или автоматические итоги, для получения и обобщения данных, полученных с помощью Microsoft Query. При этом форматирование сохраняется при обновлении внешних данных. Вместо имен полей можно использовать собственные названия столбцов и автоматически добавлять номера строк.

Excel форматирование новых данных, которые вы введите в конце диапазона, в соответствие с предыдущими строками. Excel также можно автоматически копировать формулы, которые повторялись в предыдущих строках, и распространять их на дополнительные строки.

Примечание: Чтобы расширить диапазон на новые строки, форматы и формулы должны отображаться по крайней мере в трех из пяти предыдущих строк.

Вы можете включить этот параметр (или отключить его снова) в любое время:

Щелкните Файл > Параметры > Дополнительно.

В разделе Параметры правки выберите параметр Расширить форматы диапазонов данных и формулы. Чтобы снова отключить автоматическое форматирование диапазона данных, сверните этот квадрат.

Обновление внешних данных. При обновлении внешних данных вы будете запускать запрос, чтобы получить все новые или измененные данные, которые будут совпадать с вашими спецификациями. Запрос можно обновить как в Microsoft Query, так и Excel. Excel предлагает несколько вариантов обновления запросов, включая обновление данных при ее открытие и автоматическое обновление через определенные промежутки времени. Вы можете продолжать работать в Excel во время обновления данных, а также проверять состояние во время обновления данных. Дополнительные сведения см. в этойExcel.

Источник