Этот курс ориентирован на опытных data-инженеров, которые хотят освоить новые фреймворки и отработать алгоритмы интерпретации Big Data с помощью современных инструментов экосистемы Hadoop, которые можно использовать для обработки разнообразных типов данных. Вы разберёте принципы взаимодействия с компонентами системы через консольные клиенты и API, изучите механизм сборки проектов на Scala, познакомитесь с методами оркестрации, настройки CI, мониторинга и логирования, а также рассмотрите способы тестирования и оптимизации Spark-приложений.

Русский
4,6

Чему вы научитесь

Собирать проекты на Scala
Применять фреймворк Flink
Организовывать сбор, хранение и обработку Big Data
Управлять базами данных на основе платформы Hadoop
Работать со слабоструктурированными данными в Hive

Как быстро окупится обучение

Показываем, как будет расти ваш заработок вместе с опытом. И сколько времени потребуется, чтобы окупить вложения в образование

На должности Junior Data Engineer затраты на пройденный курс окупятся
2 Месяца
70 000 ₽ / Мес
Data Engineer
70 000 ₽ — 350 000 ₽
70 000 ₽ / Мес
Junior
Опыт до 1 года
Middle
Опыт 1–3 года
Senior
Опыт от 3 лет

Преподаватели

Программа курса

Онлайн-курс познакомит вас с особенностями работы с экосистемой Hadoop и Spark-приложениями, после чего вы закрепите полученные знания на практике и разработаете ETL-систему в качестве итогового проекта.

7
Модулей

Познакомитесь с синтаксисом мультипарадигмального языка, научитесь читать код и писать простые приложения.

Освоите работу с библиотеками, разберёте инструменты обработки данных, после чего создадите собственный Scala-проект и соберёте его с помощью SBT.

На примере проекта из домашнего задания рассмотрите проблемы при сборке в Big Data, а также сможете уверенно пользоваться JSON-массивами.

Познакомитесь с экосистемой для обработки больших объёмов данных, разберёте основные дистрибутивы CDH/HDP/CDP.

Рассмотрите возможности системы для хранения данных, изучите архитектуру и роль Zookeeper в управлении файлами.

Получите представление о системах контейнеризации и узнаете, в каких случаях применяется MapReduce.

Сможете настраивать степень сжатия при записи данных, а также научитесь подбирать подходящие форматы хранения под разные задачи.

Зададите интересующие вас вопросы наставникам, получите обратную связь по выполненным домашним заданиям.

Сможете создавать несложные Spark-приложения, а также описывать их архитектуру и понимать назначение.

Построите результирующий отчет на основе raw data с использованием Spark и различных API, после чего опубликуете готовую аналитическую витрину на GitHub.

Освоите методы оптимизации запросов Spark, а также научитесь использовать интерфейс для выявления проблем с производительностью.

С помощью DataSource API V2 разработаете собственный Spark-коннектор для настройки взаимодействия с любыми сервисами.

Научитесь писать автоматические тесты в виде кода на Scala с описанием методов для Spark job с помощью Idea Community.

Освоите машинное обучение моделей и их применение на больших объемах данных с помощью Spark и XGBoost.

Сможете управлять топиками и данными распределённого сервиса очередей, а также преобразовывать форматы.

Научитесь проектировать приложения для потоковой обработки данных с использованием дискретизированных потоков DStreams и библиотеки Structured Streaming.

Изучите способы использования предобученных моделей в Spark Structured Streaming благодаря приложениям потоковой передачи на базе Dataframe и Dataset. 

Подберёте фреймворк, который максимально будет подходить для обработки потоковых данных, а также освоите базовые операции из API Flink.

Научитесь проектировать приложения с использованием Flink для реализации анализа графиков и увеличения скорости обработки данных в режиме реального времени.

Зададите интересующие вас вопросы наставникам, получите обратную связь по выполненным домашним заданиям.

Познакомитесь с предназначением, возможностями и архитектурой приложений для распределенных SQL-запросов.

Научитесь писать запросы на HiveQL и создадите аналитические таблицы по результатам обработки Big Data в Hive.

Освоите инструменты Oozie и Airflow для оркестрации ETL-процессов, научитесь загружать данные из внешних систем и проверять качество данных.

Научитесь настраивать мониторинг с помощью Grafana, а также сможете собирать логи Spark-приложений для быстрого реагирования на инфраструктурные проблемы.

Узнаете, как правильно настраивать процессы с CI/CD-поддержкой для Spark и Hive, учитывая принципы обеспечения качества.

Зададите интересующие вас вопросы наставникам, получите обратную связь по выполненным домашним заданиям.

Построите ETL-систему на основе Hadoop: от загрузки данных из внешних источников и их обработки с помощью Hive до проектирования лямбда-архитектуры для получения аналитической информации в Spark-приложении.

Познакомитесь с правилами работы над проектом и требованиями к материалу и технической документации.

Получите возможность задать вопросы и обсудить проблемы, возникающие при выполнении ДЗ и выпускной работы.

Презентуете готовый проект экспертам и получите обратную связь и развёрнутые комментарии по улучшениям и доработкам.

Как проходит обучение

Изучение темы

Просмотр обучающих видеороликов

Выполнение практических заданий

Делаете все тогда, когда вам это удобно и в подходящем вам темпе

Работа с куратором

Объяснение возникших вопросов, закрепление пройденного материала и исправление ошибок

Создание итогового проекта

Данный проект, показывающий ваши навыки, будет прекрасным дополнением к вашему портфолио

Помощь с трудоустройством

Создадите портфолио

Научитесь оформлять портфолио так, чтобы работодателю было удобно изучать ваши работы и у него осталось хорошее впечатление

Подготовитесь к собеседованию

Научитесь рассказывать о себе последовательно и без стресса, правильно реагировать на вопросы работодателя и завершать беседу

Научитесь работать на себя

Узнаете, где искать первых заказчиков, как выстраивать с ними коммуникацию и защитить свои права

Оформите резюме и сопроводительное письмо

Научитесь выгодно презентовать свои сильные стороны, чтобы получать больше откликов компаний

Узнаете, как найти работу

Познакомитесь с площадками для поиска работы, узнаете, как успешно пройти стажировку, и получите доступ к бирже с вакансиями компаний-партнёров

Спецификация

Университет
Формат обучения
Длительность
4 Месяца
Кому подойдёт
Направление
Уровень
Middle
Senior
Помощь в трудоустройстве
Да
Зарплаты Junior — Senior
70 000 ₽   —   350 000 ₽
Финальная цена
75 000 ₽

Отзывы о Otus

Otus
5.0051
Всё пригодилось
Достоинства

Всё что мне давали На курсе, реально пригодилась мне вработе. смогла увеличить доход практически в три раза, но закладывается и база, будущем выбрать для себя более специализированный курс.  Я пока несовсем понимаю, ка некоторые приходят и уходят через месяц, тупо Потомучто им не дают каких-то узких навыков. Для начала всегда нужно получить фундамент, а уже Затем  переходить начто-то более сложное иуникальное.  Я пыталась найти информацию, которую нам дают на курсе, в интернете. Однако поняла, что такими знаниями, как наши педагоги, владеют далеко не все, и немногие. Преподаватели здесь Безумно отзывчивые, хочу поблагодарить их отдельно. мы в начале курса задавали им глупые вопросы, что они, кажутся вешались. Но ниразу этого непоказали честно отвечали.  Атмосферы настраивает на рабочий лад И мотивирует на командную работу.  Здесь есть группа единомышленников, все дают друг другу советы С практической точки зрения, у менеджеров всегда можно узнать  просто жировку, подать заявку на внесение в базу к карьерного центра.  Но я этим не пользовалась, нашла вакансию сама, меня с руками и ногами сразу же взяли, узнав, что я выпускница такого курса. Однако тот факт, что вообще есть возможность обратиться за помощью, это безумно здорово. Мне не стыдно советовать друзьям этот курс, никто не потратит здесь деньги зря. Да и я , сама считаю,  что неважно, Сколько ты платишь за курс, он в любом случае даст гораздо больше.

Недостатки

Хочу дать пару Советов тем, кто в какой-то момент начнёт Разочаровываться в курсе. Перед поступлением Подготовьте себя к тому, что будет большой объём информации. хотя бы пару недель намеренно погрузите себя в атмосферу, где будете поглощать много всего. Чтобы на курсе это было для вас привычным.  Также читайте что-то из иностранных статей, потому как будут ссылки на ресурсы с дополнительной информацией

Otus
5.0051
Закончил обучение
Достоинства

Всех приветствую, кто читает мой отзыв. Честно сказать, никогда до этого не писал отзывы, а особенно после оконччания онлайн-курсов, но почему-то в этот раз очень захотелось. В начале мне было немного страшно, когда только пришел на обучение. Ведь меня назначили ответственным за проект с большим объемом данных (трафик был около 1 ТБ в день). Когда мне рассказали об этом, то я был шокирован. Да, я к тому времени имел базовые знания наподобие select, insert. А вот с основными DML и DDL операциями я уже поработать успел, но все равно хотелось узнать о них поподробнее, а в большей степени об оптимизации запросов. И вот на почте у себя вижу в один из дней письмо с приглашением на бесплатный вебинар по реляционным БД. Это вызвало у меня интерес и решил посетить его. От Алексея услышал много интересной информации, которую ему удалось хорошо донести на занятии до нас. Я активно задавал ему вопросы, и был удивлен, что на все он давал подробные ответы. Еще немаловажно, что его лекции были нескучными. Если говорить про остальные уроки на курсе, то на них разбиралось также много интересных вещей, которым я никогда не уделял столько внимания. Это касается не только СУБД, но и функционирования дисков.
Отус точно хочется поблагодарить за качественную подачу материала на лекциях, сейчас это редкость для онлайн-обучения. Ну и конечно же мои любимые домашки. Пусть даже проекты и были маленькими, но с ними было по особому интересно работать. В общем я точно рад, что мне повезло оказаться в числе учеников данного курса. Дальше моей целью стоит программа data engineer, думаю вернусь к этой идее через месяц другой. А так однозначно всем рекомендую, приходите не пожалеете.

Otus
5.0051
Будьте готовы трудиться
Достоинства

Хочу рассказать о впечатлениях после обучения в Отусе. 

Преподавал у нас Юрий Дворжецкий. Настоящий профессионал. Даже захотелось поработать над его началом вне курса. Но те пять месяцев прошли отлично. Он постоянно поддерживал нас в чате. Чуть ли не круглосуточно там сидел. Как будто вообще не спал. В критических ситуациях особенно был рядом с нами. Харизма его сильно мотивировала. Всегда он умел вдохновлять, поэтому сдаваться никогда не хотелось. Это я особенно ценю в его подходе.

Что касается самой программы. У меня уже был опыт в C++, причём не самый плохой. Java Core я тоже знал прилично. Но большая часть информации была для меня в новинку всё равно. Учиться было тяжеловато, но тут многое зависит от тебя. Можно задания выполнять путём копирования кусков текста из лекций, но я бы советовал воспринимать их максимально серьёзно и выделять вплоть до двух недель. Мне даже отпуск пришлось брать на работе, чтобы завершить нормально курс. Будьте готовы постоянно трудиться, тогда вложения окупятся. Пересматривайте теорию по нескольку раз и дополнительную литературу смотрите. 

Тут вам всё дают что нужно. Грамотно составлен процесс, знания самые современные и актуальные. Обратную связь оставляют придирчивую, и это хорошо. Я научился любить юнит-тесты.

Атмосфера приятная, добрая. Все друг другу помогают. Настоящее коммьюнити, как говорил Юрий. 

Недостатки

Я для себя не нашёл минусов. 

Otus
4.0051
Про сложный курс Отуса
Достоинства

Я до этого уже учился в Отус. В чате ходили страшные слухи про этот курс. Мол, никто оттуда не возвращается и всё такое =) Настолько тяжёлый. Я сперва пошутил, что пойду туда. Уволюсь, чтобы пройти одну эту программу) Но в итоге всё зашло слишком далеко. Так я здесь и оказался.

Отмечу личный опыт. Тут меня научили писать полноценные, развёрнутые, полезные для других и складные отзывы на код. В формате как при проверке домашних работ. Думаю, коллеги тоже это заметили, не только я. Но это больше про основополагающие скиллы.

Если говорить про специальность, то и как разработчик я стал лучше. Разобрался досконально в операционных системах. Стали знакомыми такие слова, как сигналы, ивенты и потоки. Раньше они у меня вызывали благоговейный трепет =) Сейчас стал с этими терминами на одной волне. 

Разделы про низкоуровневые штуки были занятные. Равно как и более продвинутые. Asyncio и Go тоже хороши, особенно последний. Кто бы мне сказал, что буду учить этот язык когда-то... не поверил бы. Но после ряда домашек проникся. Сейчас изучаю даже доп.материалы. 

Для отуса не впервой давать в бонусы чат. Там царит особая атмосфера. Единомышленники поймут =)

Недостатки

Могу выделить разве что задания по логистической регрессии. Сложные, но бесполезные. Лучше бы их не было. 

Otus
5.0051
Лучший онлайн курс
Достоинства

Для меня этот курс лучший из всех представленных на рынке по двум моментам. Первое,что мне бросилось в глаза и понравилось - объемные домашние задания. Причём они продуманы настолько, что надо либо полностью переработать базовый пример,либо с нуля писать весь код. На мой взгляд только так и можно освоить на высоком уровне навыки программирования. До этого в других школах я встречал лишь фразы по типу «вставьте ваш код здесь», а с таким подходом в программировании далеко не уедешь,так как здесь нужно думать головой, а не ждать пока за тебя все сделают. Второй момент: очень широко раскрываются возможности языка программирования. Преподаватели рассказали нам об анализе СPython, мы поработали на тестами, поговорили об асинхронности и мультипоточности. Это лишь небольшая часть тем большого курса. 
По соотношению цена-качество этой программе сейчас нет равных на рынке онлайн-образования. Рекомендую всем, кто хочет начать уверенно работать с питоном.

Otus
5.0051
Качественно и полезно
Достоинства

Благодаря Отусу можно наработать хорошую теоретическую базу и отработать новые знания на практике. Домашних заданий много, поэтому тренироваться вы будете достаточно много времени. Материал достаточно глубокий и всесторонний. Сборка ядер, веб-кластеры и их развёртывание с разными условиями. У преподавателей чувствуется опыт. Время от времени заходят не менее профессиональные гости. Им есть чем поделиться. Можно у них получить ответы на сложные и важные вопросы о технологиях, сервисах, приложениях и их эксплуатации. Если вести тщательные конспекты, то на выходе образуется целая кладезь полезной информации. К ней можно постоянно возвращаться при необходимости. Занятия можно пересматривать в записи. Это особенно удобно для представителей других часовых поясов. Лично я получил что хотел и даже больше. Советую.

Недостатки

Отсутствуют. 

Otus
5.0051
Жаль такого курса не было 14 лет назад
Достоинства

Хороший курс. Могу всячески рекомендовать. Но при определённых условиях.

Нужны хоть какие-то знания по базам данных. Либо опыт в смежных отраслях. Например, frontend, Java. Если вы умеете делать хотя бы простые селекты, вам подойдёт. Продвинетесь по карьере и станете больше получать за работу.

Также обучение подойдёт, если вы как я. То есть желаете систематизировать знания. Я лично четырнадцать лет с базами данных взаимодействую, и то узнал что-то новое и полезное!

Жаль не было такого курса, когда я только начинал. Я бы тогда не сжёг столько нервных клеток. И избежал бы кучи ошибок. Зато у вас теперь есть такое предложение. И я от всей души советую им воспользоваться. Тут обучают действительно круто и качественно. 

Недостатки

Всё супер. 

Otus
5.0051
Хорошая теория, интересно
Достоинства

Мне порекомендовал эту онлайн-школу друг, который после прохождения курсов по IT стал успешным фрилансером и начал развивать свой бизнес в Интернете. Я решил попробовать обучение здесь, так как результаты могут быть впечатляющими, а стоимость курса не такая уж и высокая.Я начал обучение в этой онлайн-школе и был приятно удивлен качеством материалов и уровнем преподавателей. Здесь проводятся разнообразные и полезные онлайн-семинары. Атмосфера на семинарах очень дружелюбная, а преподаватели - настоящие профессионалы своего дела. Они умеют объяснять сложные вещи доступным языком и обладают прекрасным чувством юмора. Благодаря этому занятия проходят легко и интересно. Информация, которую я получаю на занятиях, очень полезна и применима на практике.

Otus
5.0051
Оперативно проверяют дз
Достоинства

От курса в полном восторге. Мне дали много новой и полезной информации. По поводу практики тоже всем доволен. Задания давались разного уровня сложности, но самое главное все они были по пройденному на лекциях материалу. По своим результатам я замечал, что мои практические навыки стали заметно лучше. Понравилось, как излагается материал на занятиях. Преподаватели были настоящими практиками, поэтому на лекциях старались объяснять все на реальных кейсах. На свои вопросы я получал ответ моментально. По домашним работам также была хорошая обратная связь, указывали на ошибки и индивидуально разбирали их со мной. Сейчас задумываюсь о том, чтобы записаться на Pro-курс. Спасибо большое компании OTUS за возможности!

Otus
5.0051
Длительное сотрудничество
Достоинства

Я никогда не учился в ОТУСе, но я часто работаю с ними как клиент, отправляя своих сотрудников на курсы повышения квалификации. Таким образом, я могу оценить только два аспекта: качество обучения и обслуживание. Я удовлетворен качеством обучения. После курсов мои сотрудники легко справляются с новыми рабочими задачами. Второй момент, который я хотел бы отметить, - это высокий профессионализм менеджеров и руководства компании. Здесь также не возникает никаких проблем. За свои деньги вы получаете качественную услугу. Являясь постоянным клиентом, мне уже удалось воспользоваться некоторыми финансовыми привилегиями. Я планирую продолжать сотрудничать именно с этим онлайн-университетом.

Недостатки

Нет. 

Otus
5.0051
Я удовлетворен
Достоинства

Я только начал изучать подготовительный курс по PHP в GeekBrains и пока что мне все нравится. Программа ориентирована на новичков, а преподаватели всегда готовы помочь и ответить на любые вопросы. Они подробно объясняют домашние задания и помогают разобраться в сложных темах.Преподаватели умеют объяснять сложные вещи простым и понятным языком. Они понимают, как важно донести сложную информацию до новичков без лишней усложненности. Я планирую продолжить обучение и после его окончания я дополню свой отзыв, чтобы поделиться более подробной информацией. А пока что я доволен своим опытом и впечатлен уровнем обучения в.

Otus
5.0051
Интересные домашние задания
Достоинства

Платформу Отус открыл для себя в тот момент, когда я находился в поисках онлайн-курса по Python. причем для меня было важно, чтобы это было обучение для тех, у кого есть база знаний. Единственным таким местом оказался Otus. Изначально я сомневался, так как никакой информации об этой школе у меня не было, ну и к тому же напрягала стоимость обучения. Но после того как ознакомился с отзывами, прошел вступительный тест принял решение для себя, что можно попробовать. От прохождения курса получаю большое удовольствие. Формат вебинаров очень интересный. Учителя быстро проверяют домашние задания.

Otus
5.0051
Рекомендую!
Достоинства

За моими плечами большой опыт работы инженером. Но мне немного надоело это и я решил поменять свою жизнь на сферу IT. Меня всегда тянуло к ней, но дальше хобби дело не заходило. Спросил у друга какую школу лучше выбрать, он посоветовал OTUS. Я записался на курс QA-специалист. Хотел получить базовые знания по тестированию. Курс мне понравился. Все было понятно. Каких-то вопросов не возникало. Для меня главное, что было много практики и что преподаватели всегда помогали. Рекомендую!

Otus
5.0051
Спасибо всем причастным к разработке курса
Достоинства

Свой отзыв я хочу начать со слов благодарности в адрес преподавателей и разработчиков за то, что смогли так высококлассно структурировать обучение. На лекциях было очень интересно слушать. Понравилось, что учителя могли в ходе занятия тут же ответить на твой вопрос, поэтому никто с уроков не уходил с пробелами в знаниях. Вообщем рекомендую и ставлю лайк Отусу!

Otus
5.0051
Выявил свои ошибки
Достоинства

За моими плечами есть преподавательский опыт. Но до прихода в школу это больше был формат бесед нежели чтение лекций. Просто общался со студентами, рассказывал о своем опыте и подсказывал в каком направлении им лучше двигаться для освоения интересующей их дисциплины. Благодаря обучению в Отусе я выявил свои ошибки как преподавателя и узнал, как лучше структурировать лекции.

Otus
5.0051
Курс понравился
Достоинства

Мне понравился данный онлайн-курс, благодаря нему я смог познакомиться со многими инструментами, погрузиться в десятки подходов. многое Я теперь я применяю на реальной работе, и начал я этим заниматься ещё в процессе обучения. теория и практика всегда сочетаются, идёт на усложнение. Освоили несколько десятков программ, и продолжаем этим заниматься

Otus
5.0051
Получил знания за короткий срок
Достоинства

Темы связанные с нейронными сетями считаются не очень простыми, но при этом весьма интересными. Много полезного теоретического и практического материала, где подробно рассказывается о принципах и моделях. Еще благодаря курсу я узнал о генеративных сетях. 

Otus
5.0051
Записывайтесь на обучение, не пожалеете!
Достоинства

Если вы как и я новичок в разработке, то этот курс даст вам много фундаментально полезной информации. На курсе я получил огромное удоволсьтвие от общения с преподавателями и индивидуальных разборов домашних заданий. Рекомендую школу всем!

Otus
5.0051
Курс очень понравился
Достоинства

Обучением очень довольна. Знания дают свежие и самое главное практически полезные. Уроки проходят на высоком уровне, преподаватели обладают высокой квалификацией, всегда готовы ответить на вопросы и помочь. Не зря потратила столько времени)

Otus
5.0051
Все отлично!
Достоинства

Отус мне очень понравился своими преподавателями. В такой классной и дружелюбной хочется заниматься и развиваться.

Часто задаваемые вопросы

Вам потребуется пройти вступительное тестирование на наличие навыков программирования на Python, Java или Scala, знание SQL и принципов работы с реляционными БД.

Обучение организовано так, что вы можете спокойно совмещать его с работой, учебой и личной жизнью. Именно вы решаете, когда работать с материалами курса - вы занимаетесь тогда, когда удобно вам. Все уроки курса будут всегда в вашем доступе, даже после окончания курса, поэтому вы в любой момент сможете повторить пройденный материал.

Именно вы решаете, когда и сколько заниматься. Обычно студенты тратят на обучение от трех до пяти часов в неделю.

Да, вы всегда сможете задать вопрос преподавателю в личном кабинете. Также вы будете получать от него обратную связь после выполнения домашних заданий.

Да, вы можете купить курс в рассрочку, что позволит вам лучше спланировать свой бюджет.

Другие популярные курсы

Профессия: Product Manager

ProductStar
Бизнес и управление
5
129 600 ₽
288 000 ₽

Основы предпринимательства: старт бизнеса

Eduson Academy
Бизнес и управление
4,2
51 600 ₽
129 000 ₽

UX/UI-дизайнер Plus

Bang Bang Education
Дизайн
4,9
181 500 ₽
330 000 ₽

Операционный директор

Eduson Academy
Бизнес и управление
4,3
144 000 ₽
360 000 ₽
Otus
Аналитика
4 Месяца
Spark Developer: курс по инструментам обработки Big Data
75 000 ₽
Наверх