Тёмный

Power Query Базовый №11. Преобразование скученных данных 

Товарищ Excel - Power Query, Power Pivot, Python
Просмотров 24 тыс.
50% 1

В этом уроке по Power Query мы научимся преобразовывать данные, которые находятся в одном столбце. Наша задача привести их в нормальный вид. Из одного столбца мы сделаем несколько столбцов.
Файлы для спонсоров Boosty: boosty.to/comr...
Файлы для спонсоров ВК: comrade...
Файлы для спонсоров RU-vid: • Post
Индивидуальное обучение: comrade-xl.ru/...
Страница урока на сайте: comrade-xl.ru/...

Опубликовано:

 

28 сен 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 46   
@comrade_excel
@comrade_excel 5 лет назад
Файлы для спонсоров Boosty: boosty.to/comrade-xl/posts/f1b10708-d06c-455f-b7bd-0bf9ef7e9d9b?share=post_link Файлы для спонсоров ВК: vk.com/comrade.excel?w=wall-185123800_73 Файлы для спонсоров RU-vid: ru-vid.comUgySRvS2UfdkOQzgUpd4AaABCQ Индивидуальное обучение: comrade-xl.ru/pq-training/ Страница урока на сайте: comrade-xl.ru/2020/06/03/power-query-skuchennie-dannie/
@Ivan2o6o
@Ivan2o6o 2 года назад
Спасибо большое! Только начал свой путь в PQ и крайне счастлив удаче найти этот канал) Есть пожелание для бусти: добавить текстовую версию-шпаргалку. Да и в целом переработка в формат курса кажется привлекательной, к тому же почти все необходимое сейчас доступно у Вас. Просто сейчас для обучения нужно открывать видео-урок, нажимать на ссылку бусти, подтверждать у ютуба переход по ссылке, скачивать с облака, разархивировать и только потом начинать урок. Кажется мелочью, и все же сделает процесс быстрее и приятнее. Я бы за продуманный, структурированный курс заплатил. Конечно, от курса хотелось бы не серию уроков, которые научат PQ, а а некую гарантию что ли. Мол в курсе есть все необходимое и, если человек качественно проработает курс, он будет уверенно владеть инструментов на таком-то уровне, что хватит для того-то и того-то (работа на позиции аналитика к примеру, как навык). Видео + файлы + краткое резюме урока + проект (наверное начинать с самого начала, после каждого урока доделывать какую-то часть общего) + интервальное повторение (блок аля "давайте повторим, что аткое анпивот и как его применить в этой задаче"). Отдельным блоком добавить нововведения, которые будут появляться в PQ или новые решения задач, усовершенствованные запросы и пр. Спасибо!
@comrade_excel
@comrade_excel 2 года назад
У меня нет планов делать такие курсы. Каждый плейлист на моем канале - это и есть курс, и я рекомендую проходить их именно в таком порядке ru-vid.com/show-UCwAru3vDmH-IdYtwK7JWN4w?view_as=subscriber Для Boosty у меня в планах добавление еще одного уровня спонсорства. Для этого уровня будут выходить отдельные уроки. Это будут домашние задания, разбор задач с собеседований и т. д.
@Lucky-Vamp
@Lucky-Vamp 2 года назад
Огромное человеческое спасибо! Уррааа, наконец-то я смог это сделать))
@R0manovi4
@R0manovi4 3 года назад
Добрый день. В этом примере можно сделать еще так: добавить столбец "целочисленное деление столбца индексов на 9", а сам столбец с индексами удалить, тогда шаги с заполнением вверх и фильтрацией пустых ячеек можно пропустить, так как при пивоте получится сразу сводная таблица. В таком способе есть минусы?
@comrade_excel
@comrade_excel 3 года назад
Добрый день! Если все работает, то значит можно и так.
@nailgalimovru
@nailgalimovru Год назад
Добрый день! В вашем примере група всегда содержит одинаковое число строк 9. Столкнулся с примером выгрузки продаж из 1с, где группы могут отличаться: первая содержит 3 строки, вторая 4, третья 6. Целочисленное деление в этом случае не подходит. Структура групп следующая: Дата реализации (1 строка), контрагент(1 строка), наименования проданных товаров (всегда разное число строк) Как привести эту таблицу в плоскую? Может кто-то уже решал эту проблему?
@Mitellstein
@Mitellstein 5 лет назад
Это вот круто
@comrade_excel
@comrade_excel 5 лет назад
Спасибо!
@skrypai
@skrypai 2 года назад
Как раскрутить если количество строк в блоке может отличаться (от 3 до 5). В формате дата - признак начало блока, дальше признак/категория и следующая строка - значение, и так дальше до новой даты?
@ДмитрийНикитин-и8о
@ДмитрийНикитин-и8о 11 месяцев назад
Помню, как эта задачка в каком-то видео-уроке решалась посредством формул ДВССЫЛ в Excel, сохранил его у себя в базе знаний. Этот способ конечно же интереснее и быстрее, беру на вооружение. Однако до конца не понимаю технику. Про столбец индекс и остаток от деления - всё понятно. Не понятно про столбец сведения - как это работает? Это транспонирование или нет?
@comrade_excel
@comrade_excel 11 месяцев назад
Сведение (Пивот) - это значит значения столбца превратить в заголовки новых столбцов. Например, есть таблица яблоко - 5 груша - 9 ананас - 7 Делаем пивот и она превращается в яблоко груша ананас 5 9 7
@ДмитрийНикитин-и8о
@ДмитрийНикитин-и8о 11 месяцев назад
@@comrade_excel аааа! до меня начинает доходить. получается, что столбец индекс нам в принципе и не нужен, можно было б сразу сделать столбец "остаток от деления" и по нему сделать то, что вы написали на примере груш и яблок.
@comrade_excel
@comrade_excel 11 месяцев назад
@@ДмитрийНикитин-и8о без индекса не сработает. Я бы рекомендовал попробовать с индексом и без и сравнить результат. Здесь лучше потрогать, чем читать объяснения.
@ДмитрийНикитин-и8о
@ДмитрийНикитин-и8о 11 месяцев назад
@@comrade_excel да, действительно, без индекса столбец с остатком от деления не добавляется.
@ДмитрийНикитин-и8о
@ДмитрийНикитин-и8о 11 месяцев назад
@@comrade_excel и, кстати, нет, не только в столбце с остатком дело. Если индекс удалить - сведение не получится
@krivoyBeton
@krivoyBeton 4 года назад
Это 10 или 11 урок? Название и превью разные
@comrade_excel
@comrade_excel 4 года назад
это неважно. далее я вообще убрал нумерацию. просто смотрите по плейлисту то, что вам интересно.
@АлексейДьячков-я8е
Тимур, добрый вечер. Как быть если нужно разделить строку, в которой информация отличается, на конкретные столбцы? пример: разделить строки 150020, Ярославская обл., г. Ярославль, проезд Связистов 5а, литер А, 1 040700, Республика Казахстан, Алматинская обл., п. Отеген батыр, ул. 100033, Республика Узбекистан, г. Ташкент, Бектемирский район, ул. Олтинтопган 140 на столбцы: Страна/Город/Индекс/Улица/Дом/Офис
@comrade_excel
@comrade_excel 2 года назад
Добрый вечер! В меню Преобразование - Разделить столбец.
@АлексейДьячков-я8е
@@comrade_excel пробовал - делит отлично, но у меня строки по своей структуре разные. там где индекс - на другой строке может быть или город или область.
@comrade_excel
@comrade_excel 2 года назад
Тогда, возможно, нужно делать сегментацию. Отдельно извлекать каждый вид строки, делить, а потом все объединять.
@АлексейДьячков-я8е
@@comrade_excel у Вас есть такого типа урок?или нужно спонсорство покупать?
@comrade_excel
@comrade_excel 2 года назад
​@@АлексейДьячков-я8е такого урока нет. Спонсорство дает доступ к приложениям к урокам. Возможно, ваша задача не имеет простого решения в Power Query. Если вариантов написания слишком много, то, возможно, стоит воспользоваться специальными сервисами. Есть множество компаний, которые предоставляют услуги стандартизации адресов, телефонов и т. д. Берут обычно несколько копеек за строку.
@thanekrios4431
@thanekrios4431 7 месяцев назад
09.02.2024 ty
@Feldspyt
@Feldspyt 2 месяца назад
Хорошая штука, когда данные статичны. С выгрузкой из 1с такое не проканает, к сожалению
@trezzh4
@trezzh4 Год назад
Столько много неочевидных шагов. Странно, что разработчики не предусмотрели кнопки для такого действия. Тут меня Power Query разочаровал.
@ivanshipilov4265
@ivanshipilov4265 2 года назад
Сработает только если таблица маленькая. У PQ есть ограничение на количество столбцов.
@Bi-dj3iy
@Bi-dj3iy Год назад
Я тут был и выше
@thanekrios4431
@thanekrios4431 5 месяцев назад
19.04.2024
@svetlanap1590
@svetlanap1590 4 года назад
очень круто!
@comrade_excel
@comrade_excel 4 года назад
Спасибо!
@МариМ-я3д
@МариМ-я3д 4 года назад
Тимур, добрый вечер! Снова обращаюсь к Вам за профессиональным советом. При выгрузке остатков из 1С тоже получаются скученные данные, но несколько иного рода: в одном столбце находятся наименования товаров, а внизу за каждым наименованием перечисляются даты окончания сроков годности. Мне надо привести данные в вид, пригодный для дальнейшей обработки: в одном столбце - повторяющиеся наименования товаров, во втором - соответствующие даты сроков годности. Подскажите, пожалуйста, это же можно автоматизировать с помощью языка М, чтобы не делать при каждой выгрузке вручную? Номенклатура Остаток Смесь 1 01.05.2022 1000 01.10.2021 150 01.03.2020 10 Смесь 2 01.05.2022 1500 01.10.2021 600 01.08.2021 120 01.07.2020 40 01.03.2020 100 Так выгружаются данные из 1 С. Номенклатура Срок годности Остаток Смесь 1 01.05.2022 1000 Смесь 1 01.10.2021 150 Смесь 1 01.03.2020 10 Смесь 2 01.05.2022 1500 Смесь 2 01.10.2021 600 Смесь 2 01.08.2021 120 Смесь 2 01.07.2020 40 Смесь 2 01.03.2020 100 В такой вид надо привести данные для решения дальнейших рабочих задач. В номенклатуре не только смеси, а дат окончания сроков годности может быть сколько угодно, закономерности нет. В любом случае, большое Вам спасибо за помощь:)
@comrade_excel
@comrade_excel 4 года назад
1. Вы выгружаете файл в каком формате? 2. В вашем отрывке есть закономерность. Около заголовка товаров в соседнем столбце пусто. Так?
@МариМ-я3д
@МариМ-я3д 4 года назад
@@comrade_excel 1. Из 1С файлы выгружаются в формате .xls, но я к ним подключаюсь в новом файле обычно и дальнейшие манипуляции совершаю уже там. 2. Нет, там не пусто, там общая сумма остатка по этому товару (складываются остатки по срокам годности). Т.е., в нашем примере возле наименования "Смесь 1" будет число 1160, а возле "Смесь 2" - 2360. Извиняюсь, некорректно указала.
@comrade_excel
@comrade_excel 4 года назад
@@МариМ-я3д 1. Выгружайте в формате TXT (UTF-8). Этот формат как минимум в 10 раз быстрее читается, а еще очень часто и лучше размечен. Проверьте. 2. И в таком случае все равно есть закономерность. В первом столбце либо дата, либо текст. Если текст, то началась новая группа.
@МариМ-я3д
@МариМ-я3д 4 года назад
@@comrade_excel Наверно, что-то не то делаю. Добавляю столбец индекса, потом условный столбец, в котором прописываю следующее: Если [Номенклатура] равно type text то [Индекс] в противном случае null. Получаются одни нули в итоге в условном столбце. Просто если у меня в одном столбце и текстовый тип, и тип дата, то при добавлении условного столбца редактор сам способен "различить", где текст, а где дата?
@comrade_excel
@comrade_excel 4 года назад
@@МариМ-я3д Загрузите файл в облако и разместите здесь ссылку. Я сниму ролик. Вы не первый человек, задающий вопрос о таком типе скученных данных.
@Boiko777
@Boiko777 3 года назад
Спасибо!
@ЕвгенийМахонин-м5ъ
Тимур, приветствую!!! Вы огромный молодец. Отличный видеоролики выпускаете. Продолжайте! Так держать!!! Очень много полезного на Вашем канале. Буду Вашим спонсором и дальше))
@comrade_excel
@comrade_excel Год назад
Здравствуйте, Евгений! Большое спасибо!
@henrywill3416
@henrywill3416 2 года назад
Тимур, здравствуйте. Огромное Вам спасибо за Вашу колоссальную работу. Скажите, пожалуйста, можно ли в созданном условном столбце в котором категориям присвоен "0" сделать заполнение вниз с увеличением на 1 (1,2,3, и т.д.) до следующей категории с "0"?
@comrade_excel
@comrade_excel 2 года назад
Здравствуйте! Может быть вам поможет этот урок comrade-xl.ru/2022/06/04/pq-vars-transform-table-col/
Далее
Watermelon magic box! #shorts by Leisi Crazy
00:20
Я ИДЕАЛЬНО ПОЮ
00:31
Просмотров 587 тыс.
Watermelon magic box! #shorts by Leisi Crazy
00:20