Har xil
Qora jumada qatnashadi 40%
gacha chegirmalar amal qiladi 0 kun 00:00:00
Kurs

Data Engineer с нуля до Junior

Data Engineer с нуля до Junior

Вы научитесь разворачивать инфраструктуру для сбора, преобразования и загрузки больших данных, освоите Python и SQL. Начнёте с основ, а через год сможете найти работу Junior-специалистом.

Дата-инженер создаёт отказоустойчивые системы для работы с Big Data. Он программирует на Python, пишет SQL-запросы, работает с базами данных и облачными хранилищами, знаком с инструментами Kafka, Airflow, Git, Spark.

Задачи специалиста — собрать сырые данные, очистить их и разработать пайплайн для последующей работы ML-инженеров и дата-аналитиков.

  • 3 500 вакансий

    открыто для дата-инженеров

  • от 6 770 000 сум

    зарплата после первого года обучения на платформе

Полностью обновили курс в 2021 году

В новом курсе ещё больше практики и разборов кейсов. Вы не только освоите Python, SQL и актуальные версии инструментов для работы, но и научитесь самостоятельно решать нестандартные задачи. Вас ждут:

  • более 70 практических задач на развитие аналитического мышления и отработки навыков;
  • 2 итоговых проекта на основе реальных данных;
  • курс по Git и подготовка к командной работе в компании.

Полностью обновили курс в 2021 году

Кому подойдёт этот курс

  • Новичкам Новичкам

    С нуля освоите Python и SQL. Научитесь собирать, анализировать и обрабатывать данные. Решите задачи на основе реальных кейсов и добавите их в портфолио. Сможете начать карьеру в Data Engineering во время обучения.

  • Программистам Программистам

    Подтянете знание SQL для работы с базами данных. Пройдёте весь путь дата-инженера от сбора сырых данных до деплоя модели. Опыт в программировании поможет быстро разобраться в новой профессии и сменить сферу.

  • Начинающим аналитикам Начинающим аналитикам

    Изучите все этапы работы с данными. Научитесь собирать информацию из разных источников, выстраивать архитектуру для её хранения и визуализировать отчёты. Сможете самостоятельно подготовить данные для последующего анализа.

О Skillbox

Чему вы научитесь

  1. Использовать инструменты анализа

    Освоите языки Python и SQL. Сможете работать с библиотеками и фреймворками pandas, airflow, spark.

  2. Обрабатывать данные

    Узнаете, как подключаться к источникам. Сможете очищать, сохранять и интегрировать данные.

  3. Тестировать код

    Поймёте, как проводить регрессионное тестирование. Сможете тестировать пакеты, пайплайны и обрабатывать ошибки.

  4. Взаимодействовать с заказчиком

    Разберётесь, как готовить отчётность и согласовывать инфраструктуру данных. Сможете предоставить корректные данные заказчику.

  5. Разворачивать Data Science проект

    Поймёте, как реализовать загрузку данных и собирать информацию из разных источников. Сможете выстраивать готовый пайплайн проекта.

  6. Работать в команде

    Познакомитесь с git и облачными сервисами для совместной работы. Сможете эффективно взаимодействовать со всеми участниками процесса.

Что даёт профессия Data Engineer?

  • Videoyozuv prevyusi

    Востребованную специальность, на которую растёт спрос

    Данные — это новая нефть. IT-корпорации, финансовые, научные и промышленные организации принимают решения на основе анализа Big Data. Чтобы собрать и обработать терабайты данных из разрозненных источников, компании нанимают дата-инженеров.

  • Videoyozuv prevyusi

    Профессиональную свободу

    Сможете найти своё место в любой сфере: IT, банкинг, маркетинг, интернет-ритейл, промышленность, медицина, телеком. Находиться в офисе необязательно — сможете работать онлайн из любой точки мира.

  • Videoyozuv prevyusi

    Возможность стать частью процесса Data Science

    С работы дата-инженера начинается каждый проект. Он добывает данные, на основе которых ML-инженеры обучают нейросети, а дата-аналитики принимают важные бизнес-решения. Вы будете первым звеном в команде дата-сайентистов.

Как проходит обучение на платформе

  1. Смотрите материалы в удобное время

    Изучаете теорию и практикуетесь на задачах, приближённых к реальным.

    Смотрите материалы в удобное время
  2. Выполняете практические работы

    Решаете задачи после каждого модуля и закрепляете знания.

    Выполняете практические работы
  3. Работаете с проверяющим экспертом

    Получаете обратную связь по каждой работе в течение 1–3 рабочих дней.

    Работаете с проверяющим экспертом
  4. Разрабатываете итоговый проект

    Презентуете проект экспертам, дополняете портфолио и получаете сертификат о прохождении курса.

    Разрабатываете итоговый проект

Содержание курсов

Вас ждут 80+ тематических модулей с различным уровнем сложности, видео с теорией и практика на задачах, приближенных к реальным.

  • 78 практических работ
  • 2 итоговых проекта

Первый уровень: базовая подготовка

Познакомитесь с основными направлениями Data Science, обучите и внедрите свою первую ML-модель. Получите базовые знания по математике, статистике и теории вероятностей. Всё это поможет вам разобраться в основных принципах работы с данными. Среднее время прохождения — 6 месяцев.

  1. Введение в Data Science

    Пройдёте все этапы работы с данными. Научитесь выявлять проблемы, собирать бизнес-требования. Будете выгружать данные из различных источников, проводить разведочный анализ и готовить датасет к дальнейшему использованию. Обучите и внедрите готовую ML-модель, попробуете себя в роли продуктового и маркетингового аналитика. Узнаете, как формулировать и проверять гипотезы. Освоите базовые инструменты для работы: Python, SQL, Excel, Power Bi, Airflow.

  2. Основы математики для Data Science

    Получите базовые знания по математике для работы с машинным обучением. Поймёте, что такое аппроксимация, интерполяция, функции, регрессии, матрицы и векторы. Научитесь работать с математическими сущностями в Python-библиотеке SymPy.

  3. Основы статистики и теории вероятностей

    Поймёте принципы работы со случайными величинами и событиями. Познакомитесь с некоторыми видами распределений и статистическими тестами, которые пригодятся при составлении моделей и проверке гипотез.

  4. Возможность стажировки

    Базовых знаний и навыков хватит, чтобы устроиться на стажировку — сможете продолжить учиться на курсе и в компании одновременно.

Второй уровень: Data Engineer Junior

Научитесь собирать сложные наборы данных, подготавливать витрины и выстраивать пайплайны для работы, разворачивать DS-проекты с нуля и тестировать код. Будете готовы работать на позиции Junior Data Engineer. Среднее время прохождения — 6 месяцев.

  1. Вводный блок

    Узнаете, чем занимается Data Engineer, какую роль играет в Data Science проекте и какие у него пути карьерного развития. Поймёте, как построен курс и какие темы вы будете изучать.

  2. SQL

      1. Научитесь манипулировать данными в существующих таблицах, выполнять операции вставки, очистки и обновления данных. Сможете сохранять данные из БД в различные форматы.
      2. Познакомитесь с оконными функциями и основами подготовки витрин данных, использующих SQL. Научитесь обеспечивать корректную вставку информации в режиме транзакции. Сможете читать и понимать лог транзакций.
      3. Узнаете, что такое индексы и архитектура индексов, где они применяются. Изучите методы ускорения запросов.
  3. Python. LVL 2

    Рассмотрите типы данных, возможности их преобразования и принцип совместной работы Python и SQL — получение данных из БД, работа с данными и выполнение запросов. Изучите основные понятия схем данных JSON и XML. Сможете настраивать отладку приложений, писать тесты, обезличивать и шифровать данные.

  4. Библиотеки для Python

    Узнаете, что такое библиотеки для работы с графиками, обучение с учителем, визуализация метрик и источники датасетов. Научитесь использовать Python и библиотеки для работы с данными. Сможете продолжить изучение Pandas.

  5. Airflow

    Рассмотрите ключевые понятия и практики по работе с Airflow. Изучите архитектуру и основы взаимодействия от UI до CLI. Построите свой первый data pipeline.

  6. Основы Spark

      1. Освоите Spark: узнаете, какими ресурсами вычислений он оперирует, как хранит данные и работает с памятью и диском. Развернёте свой первый локальный стенд.
      2. Изучите основы RDD: базовые концепции, работу с источниками, actions. Научитесь работать с Dataframe API. Изучите вопросы производительности и оптимизации при использовании Dataframe, источники и типы данных, работу с валидными/невалидными данными, обработку ошибок, UDF, взаимодействие с Python и SQL.
  7. Основы алгоритмов Machine Learning

    Разберёте основные виды моделей машинного обучения, ключевые термины и определения. Изучите алгоритмы регрессии и алгоритмы кластеризации.

  8. Deployment

      1. Изучите основные этапы подготовки модели к деплою, подходы к построению API и способы обработки ошибок и отладки приложений. Сможете устранять проблемы при деплое и освоите основные инструменты swagger.
      2. Познакомитесь с ключевыми процессами bash: написанием скриптов, работой с переменными и текстовыми редакторами sed и awk.

Итоговые проекты

После прохождения первого уровня — подготовите вводный проект. В конце курса презентуете итоговую работу.

  1. Введение в Data Science

      1. Закрепите новые знания на индивидуальном проекте — пройдёте путь от загрузки данных до внедрения модели. Решите задачи дата-инженера, ML-инженера и дата-аналитика, чтобы определиться со специализацией.
  2. Data Engineer

      1. Итоговый проект уровня Junior. Проведёте когортный анализ и выгрузите справочники по API. Построите дашборды по полученным данным.

Бонусные курсы

  1. Карьера разработчика: трудоустройство и развитие

    Узнаете, как выбрать подходящую вакансию, подготовиться к собеседованию и вести переговоры с работодателем. Сможете быстрее получить должность, которая соответствует вашим ожиданиям и умениям.

  2. Система контроля версий Git

    Научитесь версионировать изменения в коде, создавать и управлять репозиториями, ветками, разрешать конфликты версий. Узнаете полезные правила работы с Git.

  3. Английский для IT-специалистов

    Получите языковые навыки, которые помогут пройти собеседование в иностранную компанию и комфортно общаться в смешанных командах.

Авторы и спикеры курсов

Евгений Виноградов

Евгений
Виноградов

Автор профессии Data Engineer, руководитель отдела разработки хранилищ данных и аналитических сервисов, ЮMoney. 5 лет разрабатывает системы поддержки принятия решений.
Владимир Ершов

Владимир
Ершов

Автор курса Machine Learning, Data Solutions Manager, VISA. В Data Science больше 7 лет
Вячеслав Архипов

Вячеслав
Архипов

Автор курса «Статистика и теория вероятностей», математик, Banuba development. Опыт преподавания более 8 лет.
Юлдуз Фаттахова

Юлдуз
Фаттахова

Автор курса Machine Learning. Senior Data Scientist, Team Lead в SberData, Сбер. 5+ лет в профессии
Николай Герасименко

Николай
Герасименко

Data Scientist в Сбербанке, математик в ВЦ РАН. Блок «Основы математики для Data Science». Опыт преподавания высшей математики более 4 лет
Пётр Емельянов

Пётр
Емельянов

Спикер курса, R&D Director, UBIC Tech. Более 15 лет опыта в разработке

Отзывы участников курсов

  • Если какой-то материал тяжело даётся, есть вопрос по ДЗ, достаточно написать преподавателю, который поможет разобраться с информацией и подскажет, как решить задачу.
    По итогу 9-месячной учёбы стал по-другому смотреть на сайты. Замечаю «баги», разбираюсь в вёрстке, веду репорты. Узнал, как работать со специфическим ПО.
    Уже сейчас нисколько не жалею, что выбрал Skillbox. Спасибо!!!
  • Благодаря курсу я научилась создавать классные постеры и векторные изображения. Также мой список новых скиллов пополнили ретушь и обтравка изображений — одни из главных навыков профессионального графического дизайнера.
    Ну, и умение верстать журналы! Теперь я, как самый настоящий графический дизайнер, с лёгкостью могу создать разворот какого-нибудь модного журнала.
  • Отзывы студентов

    Яна Щербицкая

    Kurs «Photoshop с нуля до PRO»
    Курс очень круто структурирован, там есть все знания, которые мне нужны, чтобы освоить программу. Сама бы я точно что-нибудь пропустила.
    Преподаватели всё спокойно и терпеливо объясняют. Если ты что-то не понял, снимут дополнительный видеоролик и покажут ещё раз.
    Самое крутое в курсах Skillbox — постоянная связь с теми, кто подскажет, как правильно.
  • Отзывы студентов

    Алла Комиссаренко

    Kurs «UX-дизайнер с нуля до PRO»
    Работать дизайнером мне очень нравится, от UX я вообще в восторге, тяга к аналитике у меня была всегда. После долгих поисков работы в новой сфере подруга помогла мне получить заказ на редизайн сайта большой компании.
    Отдельно хочу сказать спасибо куратору Александру Свобода, он очень подробно расписывал все недочёты и ошибки решений в дизайне.
  • «Почему бы не сделать из хобби источник заработка?» — однажды подумала я.
    Недолго размышляя, записалась на курс в Skillbox и встала в ряд претендентов на гордое звание копирайтера.
    Работа с текстом помогла мне вернуть свою жизнь, вдохновила. Я начала снова ухаживать за собой, читать. Увидела, что я не только мать, но и писатель.

  • Отзывы студентов

    Ирина Семёнова

    Kurs «SMM-специалист»
    Я узнала, что такое охваты, KPI и прочие слова, которые раньше пугали. Поняла, что чем проще и понятнее, тем лучше. Разобралась в сложной иерархии рекламного кабинета и научилась настраивать аудиторию и рекламу.

    Я уже в теме и не боюсь назвать своих более опытных друзей коллегами.
  • Kursning boshlanishi: 1 июл
  • Qoldi: 4 joyj

Стоимость курса

  • Рассрочка до 12 месяцев без переплат
  • 1 114 822 сум/мес
    • 13 377 874 сум
    • 22 296 456 сум
Qora jumada qatnashadi 40%
gacha chegirmalar amal qiladi 0 дня 00:00:00

1-qadam. To'lov turini tanlang

2-qadam. Bog'lanish ma'lumotlarini to'ldiring

Xato ketganga oʻxshaydi. Qayta yuborishga harakat qilib koʻring yoki sahifani qayta ishga tushiring.

bosish bilan tugmachani, men rozilik beraman / tugmachani bosish bilan men rozilik berman ishlov berish shaxsiy ma'lumotlarga va  qoidalari bilan Platformalardan foydalanish

Tugmachani bosish bilan roziligimni bildiraman dan Ommaviy oferta bilan va shaxsiy ma'lumotlarga ishlov berish siyosati bilan

Rahmat!

Soʻrovingiz muvaffaqiyatli joʻnatildi

Часто задаваемые вопросы

  • У меня нет опыта работы с данными. Подходит ли мне этот курс?

    Курс подходит новичкам без специальных знаний, высшего образования и талантов. Главное — не пожалейте времени на первый этап, в котором вы получите базовые навыки. Внимательно выполняйте практические работы и не забывайте читать дополнительную литературу. Чем лучше вы поймёте основы, тем легче вам будет учиться дальше.
  • Можно ли стать дата-инженером за год и найти работу?

    Мы составили курс с учётом требований работодателей, а итоговые проекты и практические работы основаны на реальных проблемах, которые решают дата-сайентисты. Если заниматься регулярно, практиковаться и не пропускать теоретические видео, то у вас будут все необходимые знания и сильное портфолио, чтобы удачно пройти собеседование.
  • Требуется ли знание математики?

    На начальных этапах от вас не требуется продвинутых знаний — достаточно школьного курса математики. Не пугайтесь, если вам придётся разобраться в темах, которые вы забыли или не проходили — куратор поможет освежить знания или даст ссылки на полезные материалы.
  • Нужно ли знать английский язык?

    Значения важных англоязычных терминов объясним на курсах. В практических работах перевести незнакомые слова поможет Google Переводчик. Но со знанием языка проще ориентироваться в среде разработки, читать документацию, участвовать в международных проектах.

    Поэтому пользователям платформы Skillbox мы дарим бесплатные занятия в онлайн-школе КЭСПА на год. За это время вы освоите грамматику, пополните словарный запас и научитесь свободно читать и говорить на английском.
  • Сколько часов в неделю мне нужно будет уделять учёбе?

    Всё зависит только от вас. В среднем участники курса занимаются от 3 до 5 часов в неделю.
  • Кто будет проверять практические задания?

    Никаких автоматических проверок и скриптов. Куратор-практик не только укажет на ошибки, но и поможет разобраться в сложных темах, ответит на вопросы. Проверка практических заданий и доступ к Telegram-чату уже входят в стоимость курса — ничего доплачивать не нужно.
  • Действуют ли какие-нибудь программы рассрочки?

    Да, вы можете купить курс в рассрочку — и спланировать свой бюджет, разбив всю сумму на небольшие ежемесячные платежи.
  • Чем рассрочка отличается от кредита?

    Вы оплачиваете только стоимость курса — проценты мы берём на себя. Для оформления рассрочки не требуются официальное трудоустройство и хорошая кредитная история.
  • Что значит 3 месяца бесплатно?

    Освоить новую профессию с нуля — непросто, особенно в начале обучения. Поэтому расходы за первые 3 месяца мы берём на себя — вам не придётся вносить ежемесячные платежи. Вместо этого сфокусируетесь на занятиях — и без стресса пройдёте необходимые основы. Внести остаток и оплатить полную стоимость курса можно до конца периода рассрочки.