SmartData - конференция по инженерии данных (Conference on Data Engineering).
Конференция для дата-инженеров и тех, кто работает с большими данными. Эксперты из различных компаний обсуждают техническую конкретику по всем темам - от отказоустойчивости до MLOps.
Ближайшая конференция - SmartData 2024, 4 сентября · online 8-9 сентября · Москва Подробнее о конференции - jrg.su/TIQNFm
Основные темы: - MMP СУБД и хранилища данных - SMP и специализированные СУБД - Архетектура дата-платформ - Data Processing - DataOps - Database Internals - Data Management - Cloud Solutions - Миграция с одних инструментов и хранилищ в другие - Дата-инженерия не для дата-инженеров
Понравилась первая часть выступления, которая не относилась к Mage, вот эта рефлексия с позиции менеджера. Как только перешли к демо по непосредственной теме, все стало очень скомканно, что-то в streamlit показал, запустил пайплайн в mage, что получил, для чего - непонятно. Может быть, стоило строить доклад не вокруг конкретного тула, а до конца описать преобразования, которые с командой удалось осуществить. От себя скажу про Mage. Он расширяет возможности оркестратора, позволяя смотреть на результаты трансформаций в jupyter-like интерфейсе и даже передавать датасеты между тасками. Также он ест меньше памяти в сравнении с Airflow, особенно в idle state. Но! В прод мы так и не решились с ним идти - он все-таки еще очень сырой, какие-то нечитаемые ошибки, баги и т.п.
Добрый день. А мне, как кандидату, не понравилось интервью. Создалось впечатление, что нанимающие менеджеры живут в своей придуманной ими реальности. Что нужно сделать чтобы % был больше: перестать искать сферического коня в вакууме, идеала(с нереальными скилами), а опираться на реальных людей, которые приходят на рынок. И речь идет не о том, что нужно брать не грамотных, а о том, чтобы опираться на опыт людей+потребности компании. Если нанимающий менеджер даже резюме не читает - по мне это говорит о том, что он не заинтересован в человеке, а хочет найти функцию. Позиция соискателя: 1. Все знать невозможно, по причине огромного количества информации и технологий, тем более, что они устаревают. 2. за свою карьеру я работал в разных компаниях, и удивительно: то, что меня спрашивали на собесах по технологиям, в реальных проектах было не более 20% 3. считаю, что умение осваивать и учиться новому гораздо более важно, чем знания на текущий момент, однако не все компании это понимают. 4. лайф-кодинг по python на собесах для DE считаю бесполезной штукой, поскольку сейчас очень много информации по python, для написания дагов airflow не нужно сверхзнаний, а если пишешь на nifi, там вообще nocode. Гораздо важнее понимание процессов, как работает та или иная технология, принципы проектирования БД, обработка данных, знание нюансов конкретной СУБД, в которой работаешь. У меня в опыте по DE и даже когда я был разработчиком, ни разу не было задач по алгоритмам. Разве что в институте. Зачем это спрашивают - я не понимаю. 5. Софт-скиллы важны, это да. Однако когда нанимающий менеджер даже резюме не читает, это занавес. Мне скажут, что он очень занят, это отговорки, поскольку если нанимают по месяцам(то на это время, конечно же есть). Найм - это обоюдный процесс. 6. Мне очень понравилась идея спрашивать человека об его опыте. Это честно и вызывает уважение. И по сути верно. О чужом опыте гораздо труднее разговаривать. А про знания - я написал выше. Вывод: маленький % по найму на мой взгляд из-за того, что компании хотят найти идеального под себя кандидата. Идеалы недостижимы, они есть, но только в наших головах, а реальность другая.
послушал, сложилось впечатление, что все по сути озвучили, что проблемой найма является дефицит высококвалифицированных низкооплачиваемых специалистов. Но выходы почему то все пытаются найти где-то в нематериальной стороне
Катя молодчина, в цель с правдой в резюме. Реально нет гиперсложных технологий, но поняв как хорошо кандидат знает то, что он написал в резюме, получается полный портрет. Кажется, что только с помощью резюме можно максимально быстро понять когнитивный потенциал и мотивацию.
Если кто то, видя слова "международная компания", сам для себя читает это как "транснациональная корпорация", то что ж тут скажешь, кроме как читать внимательнее и не домысливать
Отличный доклад! Ну, первая половина, за что спасибо Александру! Ну а вторая - ммм, больше про хохотнуть с метафор) ну и самый первый довод, где с гордостью было заявлено про то, что человек мыслит бинарно... Ох, спасибо, но нет 😅
Метрики не усложнились, они всегда были сложными. Как ты оценишь эффективность наружной рекламы, которая существует уже очень давно? Люди будут ходить мимо нее и сегодня, завтра, и через год. И бизнес понимает это и допускает в подобного рода данных какой-то уровень неопределенности. Но он точно не будет сидеть 50 лет и ждать, когда к нему дойдут все события, он подпишется на какой-то контракт, как ты и сам сказал. Поэтому график с завершением джобы все еще нагляднее, чем график прихода событий, поскольку он дает тебе понять, что в рамках твоего контракта он до тебя данные довел.
крч данные могут меняться, а в особенности продуктовые метрики, которые меняются долго. Поэтому нужно вводить на данные контракты. Нужно для того чтобы не вызывать иллюзии полноты данных у аналитиков и топ менеджмента
Как вы заебали со своей метафизикой. Полчаса искал что-то что перевернет мой взгляд, нашел только трепло которое наплело контекстов и выступило на сцене. Хочешь преподавать - преподавай лично. Хочешь заработать - выходи на сцену.
я не понял причину следственную связь: нет транзакций == теряются данные я представляю что транзакции нужны если ты записываешь несколько связанных сущностей одной операцией. Я так понимаю это не тот случай тогда остается вариант что может репликация там несинхронная Поясните пожалуйста что имело ввиду.
