Программа data science что это

Знакомимся с Data Science: от новичка до специалиста

Специально для тех, кто не знает, кем хочет стать, рассказываем о профессии data scientist подробно: что это за профессия, кому она подойдет, с чего начать обучение, как стать специалистом и о многом другом читайте внутри.

5 октября 2020, понедельник 15:29
mega-news [ ] для раздела Блоги
-22000р на 4080 Gigabyte Gaming
i5 13600K 14 ядер — дешевле и быстрее i7 12700K
ASUS 3050 все еще за 30 тр
24 ядерный 13900K — смотри цену
3070 Ti Gigabyte Gaming за 60 тр
За пост начислено вознаграждение

Несколько лет назад Harvard Business Review назвал Data Scientist наиболее сексуальной профессией века. С тех пор её «сексуальность» только росла, а потребность в специалистах увеличивается по экспоненте. В 2016 году Data Scientist вошла в топ-25 лучших вакансий на территории Соединённых Штатов по версии Glassdoor. На Россию тенденция тоже распространяется, хоть и не в таких больших масштабах. Однако, потребность в квалифицированных кадрах всё же растёт.

Data Science что это? Стоит ли начинать учить Data Science?

реклама

Что такое Data Science – кто такой Data Scientist

рекомендации
i7 13700KF 16 ядер — цена рухнула
3070 за 49 тр в Ситилинке
5 видов 4090 в Ситилинке по норм ценам
MSI 3050 за 28 тр в Ситилинке
4080 по старой цене в Регарде, за 100+
Компьютеры от 10 тр в Ситилинке
13900K в Регарде по СТАРОМУ курсу 62
RTX 4080 — 6 видов в Регарде
Упала цена Ryzen 7600 4.7ГГц

Новый 13700K и KF дешево в Регарде
13600K очень дешево в Регарде

Чтобы понять, кто такой Data Scientist, нужно сначала дать определение самой профессии. Называется она Data Science. В последнее время термин стал очень популярным, и вы часто можете встречать его, бороздя просторы всемирной паутины.

реклама

var firedYa28 = false; window.addEventListener(‘load’, () => < if(navigator.userAgent.indexOf(«Chrome-Lighthouse») < window.yaContextCb.push(()=>< Ya.Context.AdvManager.render(< renderTo: ‘yandex_rtb_R-A-630193-28’, blockId: ‘R-A-630193-28’ >) >) >, 3000); > > >);

Так вот, Data Science – работа с большими данными. Отметим, что термин «большие данные» уже прочно укоренился, хотя изначально использовался английский вариант – Big Data. Большие данные представляют собой огромные объёмы неструктурированной информации, для обработки которой требуется математическая статистика и машинное обучение.

Специалист, который занимается этим, называется Data Scientist. Его задачей является анализ больших данных, на основе которых можно сделать прогноз в зависимости от поставленной задачи. В конченом счёте финальным продуктом Data Scientist’a является создание прогнозной модели – алгоритма для оперативного поиска наиболее подходящего решения поставленной задачи.

Вы могли не знать, но с результатами работы специалистов в сфере Data Science вы встречаетесь по несколько раз в день. Например, когда слушаете музыку в YouTube Music, Spotify или Deezer. В этих стриминговых сервисах алгоритмы, написанные дата сайентистами, подбирают композиции, наиболее соответствующие вашим вкусовым предпочтениям. Так же само рекомендуются видеоролики в соответствующих сервисах и списки пользователей, с которыми вы можете быть знакомы, в социальных сетях.

Профессия Data Scientist: кто это? | GeekBrains

Где работает Data Scientist

реклама

Если вы не хотите применять свои умения только для того, чтобы помогать людям быстрее находить одноклассников и учить программное обеспечение рекомендовать к прослушиванию Eisbrecher после Rammstein – не переживайте. Есть ещё немало областей, в которых можно применить свои таланты.

Например, в транспортной компании Data Scientist позволяет найти оптимальный маршрут передвижения, а на производстве созданные модели могут помочь спрогнозировать сбои в работе. Страховым компаниям дата сайентисты помогают рассчитать вероятность страхового случая, а в сельском хозяйстве делают прогноз по урожаю и ищут способы наиболее эффективного использования с/х угодий. Кроме того, на базе алгоритмов в медицине оборудование может автоматически ставить диагнозы пациентам.

реклама

Несмотря на то, что специалистов в Data Science становится всё больше, количество высококвалифицированных кадров всё ещё не соответствует спросу на них. Это приводит к росту оплаты труда. Заработная плата зависит от опыта работы. Например, специалисты, которые уже имели дело с большими массивами данными, а в их арсенале есть глубокие знания и навыки построения математических моделей, могут получать в Москве свыше 100 000 рублей ежемесячно. Для дата сайентистов без опыта зарплата стартует примерно 70 000 рублей в столице Российской Федерации.

Само собой, российские зарплаты ни в какое сравнение не идут с американскими. Например, хороший специалист с опытом в Соединённых Штата может получать свыше 130 000 долларов в год, т.е. порядка 11 000 долларов в месяц.

Пройти курс обучения Data Science с нуля

На сегодняшний день при наличии большого желания расти в области анализа больших данных не составляет никакого труда пройти курсы по Data Science. В России есть масса возможностей на любой кошелёк и вкус. Например, программа GeekBrains, разработанная совместно с NVIDIA и «МегаФон», обучает Data Science с нуля.

Для прохождения курса студентам будет достаточно школьных знаний, а онлайн-университет обеспечит всеми необходимыми ресурсами и инструментарием. В рамках программы обучающиеся будут ознакомлены с нейронными сетями и технологиями машинного обучения.

Программа в GeekBrains подойдёт как начинающим аналитикам, предоставив толчок для карьерного роста, так и для практикующих специалистов, желающих перейти в более востребованное направление. Курс состоит из 262 часов обучающего контента, 534 часов практики, 2-4 еженедельных семинаров и гарантирует трудоустройство.

Обучение разделено на четверти. С октября по декабрь студенты занимаются изучением основ языка Python, осваивают операционную систему Linux, создают сервера в облачных сервисах AWS. Также в список целей входит обучение SQL.

Во второй четверти студенты продолжают изучать библиотеки Python для Data Science, а также начинают решать задачи по комбинаторике, изучают методы проверки статистических гипотез и знакомятся с особенностями открытых данных. В третьей четверти придётся уделить внимание математике. В течение трёх месяцев нужно детально изучить математические аспекты алгоритмов, которым находится применения в Data Science.

Последний этап первого года уделён машинному обучению, а его программа разработана совместно с «МегаФон». Студентам даётся три месяца, в течение которых нужно научиться решать бизнес задачи, применяя машинное обучение. Также в рамках четвёртой четверти обучения удастся изучить реализацию рекомендательных систем.

Второй год обучения начинается с изучения нейронных сетей. Студенты решают задачи ML с данными из социальных сетей и др., а также на практике знакомятся с Tensorflow, Keras и PyTorch. Наконец, во второй четверти второго года изучаются продвинутые архитектуры нейронных сетей, компьютерное зрение и нейролингвистическое программирование.

Заключение

В целом, Data Scientist – профессия, которая требует как теоретических знаний, так и практических навыков. Причём вряд ли вам удастся обойтись опытом лишь одной профессии. Чтобы освоить Data Scientist, придётся приложить немало усилий и времени, но в конечном счёте это должно будет окупиться сполна.

Первые полтора года опыта в профессии вы можете получить на курсе «Data Science с нуля». После прохождения которого вы также получите полную поддержку при трудоустройстве, начиная от помощи в составлении резюме до подготовки к собеседованию.

За пост начислено вознаграждение

Источник: overclockers.ru

Все о Data Science: описание, особенности, как стать специалистом

Данные – то, что нужно не только грамотно обрабатывать, но еще и собирать, а также хранить. С развитием информационных технологий люди стали задумываться над тем, каким образом справиться с поставленными задачами с максимальной эффективностью. Так появилось совершенно новое направление, которое называется Data Science.

Люди, решившие стать специалистами в соответствующей области сегодня высоко ценятся. Но не совсем понятно, кто это, а также чем занимаются подобные «ученые». В данной статье будет раскрыта тайна Дата Науки.

Определение

Data Science – это анализ данных. Точнее, наука о реализации соответствующей задачи. Отвечает за охват сбора массивов информации структурированного и неструктурированного типа (Big Data), а также за их дальнейшее преобразование. Вследствие проводимых операций данные должны приобрести «человеческий» формат.

Соответствующим термином описывают процесс работы с Биг Датами. Для работы используются машинные методы обучения, а также математическую статистику. Это – крайне важный момент для программирования, а также бизнеса и маркетинга.

Терминология

Чтобы понять выбранное направление, требуется уточнить в первую очередь некоторые термины. Они крайне важны для будущего специалиста «по анализу больших данных». Вследствие работы будут встречаться повсеместно:

1. Искусственный интеллект – способ, при помощи которого машины учат «думать» и принимать те или иные решения. Применяется при персонализации, а также в двойниках и имитации человеческого мышления. Некий метод автоматизации принятия решений.
2. Машинное обучение – процесс создания инструментов для того, чтобы из данных извлекать знания. Сюда относят: распознавание образов, рекомендательные системы, предиктивные алгоритмы, перевод графики в текст, синтез текстовых data.
3. Глубокое обучение – создание нейронных сетей многослойного типа в сферах, где требуется более быстрый и продвинутый анализ. В этом случае традиционное машинное обучение не справляется с поставленными задачами. Применяется в «масках» утилит, синтезе звука, голоса или картинок.
4. BigData – большой объем информации разного вида. Совокупность подходов к невероятным по масштабам размеров неструктурированных материалов, которые поступают от источников постоянно и непредсказуемо.
5. Data Science – придание смысла и понимания электронным материалам, их обработка, способ найти полезное в общей неструктурированной массе. В процессе часто задействуются облачные вычисления, а также инструментарий для создания виртуальных сред разработки.

Стоит обратить внимание на то, что при рассмотрении выбранного направления могут пригодиться языки программирования, а также познания в сфере информационных технологий и IT. Специфика направления – системы и инструменты, которые могут выдерживать огромную (повышенную) нагрузку.

Состав аналитики данных

Чтобы полноценно работать в «науке об информации», требуется выполнять определенные действий. Процесс аналитики включает в себя:

1. Сбор сведений. На этом этапе осуществляется поиск каналов, из которых будут получены материалы.
2. Проверка.
3. Анализирование. Специалист должен изучить сведения, а также подтвердить имеющиеся гипотезы.
4. Визуализация. Специалисту требуется изобразить полученные результаты так, чтобы они стали предельно простыми для человеческого понимания. Обычно для реализации поставленной задачи используют графики и диаграммы.

Завершающий этап – это действия. А именно – принятия решений, в основе которых лежат проанализированные материалы. Пример – корректировка маркетинговых стратегий при увеличении доходов.

Направления

Можно стать хорошим аналитиком лишь тогда, когда человек определится с областью, в которой работать. Сегодня знают несколько видов «ученых по данным». Их разделяют по уровню трансформации на:

• инженеров – работников, которые несут ответ за целостность и оптимизацию хранения;
• разработчиков БД – отвечают за работоспособность и исправность баз информации;
• архитекторов БД – занимаются проектировкой хранения баз.

Также есть разделение по уровню обработки электронных сведений. Здесь имеет место следующее разделение на направления:

• аналитик – проводит анализ метрик, реализовывает эксперименты, составляет те или иные прогнозы;
• дата-ученый – ведет разработку продукта, который основывается на полученные сведения;
• BI-специалист – отвечает за визуализацию и интерактивные дашборды;
• ML-специалист – осуществляет разработку и несет ответственность за развитие data-driven продуктов.

Последний «работник» — это своеобразный разработчик алгоритмов. Наиболее перспективное направление, но освоить его «с нуля» весьма проблематично. Стажер не сможет создать собственный качественный проект типа data драйвен без достаточного опыта.

Необходимые инструменты для работы

Когда выбрана одна конкретная стезя в аналитике, стоит разобрать в том, какие инструменты могут пригодиться для дальнейшей работы. Мало обладать теоретическими знаниями. Без комп. программ и утилит обрабатывать сведения в электронном виде невозможно. Особенно тогда, когда речь идет о больших ее объемах.

Многое зависит от того, какой именно специалист приступает к работе. Ориентироваться можно на следующие советы:

1. Все «ученые по обработке и аналитике материалов» должны разбираться в таблицах, СУБД, хранилищах, SQL и ETL.
2. BI-аналитик: инструментарий BI (Power BI, Tableau, OLAP, майнинг), SAS, R, Python, Knime, RapidMiner.
3. Специалистам по данным и «ученым»: библиотеки визуализации и проведения досконального анализа в R и Python, углубленное изучение майнинга, Docker, Airflow.
4. Инженерам: углубленные познания в ETL-процессах, а также в процессах выстраивания пайплайна.

Также предстоит задуматься над тем, чтобы углубиться в программирование. Обязательно знать SQL, а также Python. В идеале дополнить соответствующий багаж Scala и Java.

В аналитике часто задействуются облачные платформы. Если потенциальный «ученый» хорошо в них разбирается, добиться успехов в карьере ему будет не слишком трудно. А еще рекомендуется изучить технологии обработки сведений в огромных объемах (Kafka, Hadoop, Spark).

Навыки и умения

Комп – не единственное, что должен освоить будущий «ученый по информации». Такой специалист обладает определенными навыками и умениями.

Для более быстрого продвижения по карьерной лестнице, а также для того, чтобы стажировка не доставляла хлопот, человеку пригодятся следующие качества и навыки:

• абстрактность мышления;
• наблюдательность;
• наличие логики (чем больше она развита – тем лучше);
• высокий эмоциональный интеллект;
• умение работать в команде и конструктивно воспринимать критику;
• усидчивость;
• навыки программирования;
• способность быстро получать, преобразовывать, очищать и структурировать поступаемые сведения;
• умения создавать презентации, рисовать диаграммы;
• проведение исследований и A/B-тестов;
• спектр познаний в математических методах и основах статистики;
• способность создавать скетчи и разнообразные прототипы.

Также для работы потребуется мощный компьютер, но им обычно снабжает работодатель. В некоторых ситуациях Data Science предусматривает подключение суперкомпьютеров.

Стажировка для аналитиков

У специалистов, заинтересованных в аналитике и машинном обучении есть возможность получить необходимы для карьерного роста знания. Для этого существует так называемая стажировка. Она носит названием SAS.

Включает в себя:

• компьютерную лингвистику;
• майнинг;
• разработку процессов интеграционного типа на SAS и Open Source;
• потоковую обработку информации;
• кластеризацию;
• визуализацию;
• составление прогнозов;
• исследование информации;
• участие в проектах майнинга;
• back-end;
• front-end;
• создание предсказательных математических моделей.

Для того, чтобы Data Science-специалист прошел соответствующую практику по аналитике данных, потребуется компьютер и доступ в интернет. Алгоритм действий будет следующим:

1. Подать заявку в электронном виде. Принимаются студенты бакалавриата (3-4 курс), а также магистратуры.
2. Пройти тестирование. Это делается дистанционно.
3. Обучаться согласно установленной программе.
4. Пройти собеседование и итоговое тестирование.

Пользователям, прошедшим обучение в Москве и других регионах, предоставляется помощь при трудоустройстве после успешного завершения стажировки SAS.

Как освоить «науку»

Но предложенный вариант подходит уже для более-менее продвинутых кадров. Новичкам и тем, кто еще не пошел учиться в ВУЗ, подойдет другое решение поставленной задачи. Более быстрое и практичное.

Освоить Data Science в том или ином направлении можно дистанционно через компьютер, окончив соответствующие курсы. Они организовываются специальными образовательными центрами.

Computer Centers предусматривают как дистанционные, так и очные. В конце обучения выдают сертификат, подтверждающий знания в соответствующей области по данным. Он оформляется бессрочно. Может пригодиться при дальнейшем обучении, а также при приеме на работу в выбранном направлении.

Источник: otus.ru

Data Science и Data Scientist – разберемся

Стремительное развитие информационных технологий и IT-отрасли привело к появлению новых направление деятельности и профессий. В их числе – Data Science как область работы с большими данными и Data Scientist как специалист, занимающийся ее выполнением. До сих пор далеко не всегда существует четкое понимание этих терминов, а потому имеет смысл рассмотреть их более внимательно.

Data Science – что это такое?
Кто такой Data Scientist?
Обзор рынка труда: перспективы, зарплаты, вакансии
Обучение дата сайнс
Вероятный карьерный путь

Что почитать и посмотреть по теме?
Подведем итоги

Data Science – что это такое?

Дословно Data Science переводится как «наука о данных», что достаточно верно отражает суть понятия. Если говорить предельно просто и кратко, термин означает деятельность по сбору, хранению и обработке Big Data или больших данных. Под ними понимается значительные объемы разнообразных сведений, изначально неструктурированных. Для упорядочивания информации требуется ее первичная обработка, которая осуществляется с помощью методов машинного обучения и математической статистики.

Этой работой занимаются Data Scientist или дата-сайнтисты, сфера деятельности и обязанности которых описаны ниже.

Отличия от бизнес-аналитики

Здесь же необходимо отметить разницу между Data Science и аналитикой данных, которая также является важной частью работы с Big Data. Дата сайнс и дата сайентисты обрабатывают информацию с целью обнаружения связей и закономерностей, результатом чего становится построение прогнозных моделей. Другими словами, целью специалиста становится прогнозирование будущего.

Аналитик данных занимается обработкой текущих результатов деятельности. Его главной задачей является оценка эффективности работы предприятия в целом, отдельных подразделений, команды по реализации бизнес-проекта или даже конкретных сотрудников. То есть аналитика данных больше интересуют уже свершившиеся события, их детальный анализ, выявление резервов роста и проблемных мест.

Важно отметить, что профессии Data Scientist и аналитика данных часто пересекаются. Более того, некоторые специалисты владеют навыками обеих, что делает их еще более ценными для работодателя и востребованными на рынке труда. Но изначально перед ними стоят разные задачи, они используют в работе несколько различающийся инструментарий, а результата деятельности применяются на практике для решения различных задач.

Еще одним существенным нюансом становится более широкое область профессиональной деятельности дата сайентиста, фактически включающая в себя аналитику данных как один из составных элементов.

Кто такой Data Scientist?

Как было отмечено выше, основной сферой деятельности специалиста выступает первичное структурирование и обработка больших массивов информации или Big Data. Для этого используются различные методы – от машинного обучения до создания многоуровневых нейронных сетей и традиционной математической статистики.

Чем занимается?

Сфера практического применения знаний и навыков Data Scientist крайне широка. На сегодняшний день в нее входят:

• все направления бизнеса – создание алгоритмов прогнозирования спроса и результатов реализации различных проектов;
• банки – разработка программ для оценки платежеспособности клиента;
• транспортные компании – создание алгоритмов выработки оптимального маршрута перевозки;
• IT-сфера – программирование ботов поисковых алгоритмов и систем искусственного интеллекта;
• промышленное производство – прогнозирование сбоев в работе технологических линий.

Приведенный перечень сложно назвать исчерпывающим. Напротив, область профессиональной деятельности рассматриваемого специалиста постоянно расширяется и нет никаких оснований считать, что ситуация изменится в ближайшие 5-10 лет. Что означает дальнейший рост востребованности в квалифицированных Data Scientist.

Особенности профессии и требования к специалисту

Первой и главной особенностью специалиста в Data Science выступает необходимость постоянного совершенствования. Дело в том, что используемые в профессии методы и технологии регулярно обновляются. Чтобы оставаться грамотным специалистом, требуется их изучение, освоение и получение опыта использования. Без этой практически каждодневной работы сложно рассчитывать на построение успешной профессиональной карьеры.

Что касается основных требований к специалисту, то оптимальный процесс соответствия им предусматривает последовательное изучение следующих знаний и навыков:

• основы математического анализа;
• математическая статистика;
• Python или другой популярный язык программирования (хотя в Data Science именно пайтон является базовым на сегодня);
• принципы машинного обучения.

Дальнейшая подготовка зависит от конкретного направления работы специалиста. Главное – понимать, что предела профессиональному совершенствованию в Data Science попросту нет, поэтому всегда найдется то, что целесообразно изучить или освоить.

Обзор рынка труда: перспективы, зарплаты, вакансии

Быстрый рост и активное развитие IT-отрасли приводит к тому, что практически все квалифицированные специалисты, работающие в ней, являются востребованными на рынке. Поэтому проблем с трудоустройством обычно не возникает.

Другим логичным следствием становится высокий уровень предлагаемой работодателями заработной платы. Сказанное в полной мере распространяется на Data Scientist. Даже начинающий специалист без опыта практической работы может рассчитывать на получение 70-90 тыс. рублей в месяц. Причем указанная цифра может быть удвоена – при должном старании и аккуратном исполнении обязанностей – уже в течение 1-2 лет.

Дальнейшие рост доходов зависит только от самого специалиста. Верхнего предела в заработке Data Scientist практически нет. Настоящие профессионалы своего дела, работающие в крупных компаниях или на аутсорсинге, получают 200-300 тыс. руб. ежемесячно. Некоторые из них создают собственные фирмы и становятся владельцами бизнеса.

Обучение дата сайнс

Характерной особенностью многих профессий IT-сферы выступает отсутствие необходимости получать не только высшее, но и даже среднее специальное образование. Вполне реально стать специалистом посредством обучения на курсах – в онлайн- или офлайн-режиме. Некоторые учебные центры ведут бесплатную подготовке Data Scientist, хотя рассчитывать на серьезный уровень получаемых знаний в этом случае достаточно проблематично.

Платные курсы требуют финансовых расходов, но в большинстве образовательных организаций цены находятся на вполне доступном уровне. Тем более – в случае дистанционного обучения. Дополнительные затраты компенсируются качеством подготовки, оптимальным сочетанием теории и практики, привлечением к преподаванию грамотных профессионалов.

Бонусом становится помощь в создании портфолио и карьерные консультации, которые доступны в некоторых образовательных онлайн-школах.

Data Science с нуля до Junior от Skillbox

5439 руб./мес. при покупке курса в рассрочку на 22 месяца.

Источник: www.sravni.ru

Data science: что это, где используется

Data science – это сравнительно новая дисциплина в области поиска, хранения и обработки информации. И пусть вас не смущает слово «science», этот инструмент используется повсеместно и к науке имеет определяющее значение, а не связанное. То есть это и есть своего рода наука – работа с данными.

Бизнес активно использует DS для прогнозирования событий, сбора и сегментации целевой аудитории, изучения спроса на те или иные продукты. Подробнее о том, что собой представляет data science, чем занимаются специалисты из этой области и что нужно, чтобы начать работать в этой сфере, вы узнаете из нашего материала.

Что такое Data Science

Data Science — это дисциплина, повышающая полезность данных. Можно найти разные определения этого понятия и в каждом из них будет присутствовать слово «данные». То есть Data Science применяется очень широко.

Это приводит к тому, что деятельность специалиста в этой области сложно дифференцировать: не вполне понятно, чем именно он занимается, работая с данными, ведь они нужны и для создания отчетов, и для прогнозирования спроса в той или иной области, и для построения сложных математических моделей динамического ценообразования, и для настройки поточной обработки данных для высоконагруженных сервисов, работающих в режиме реального времени.

Слово «наука» в названии используется не просто так. Математика для Data Science является базой, анализ данных основан на классическом математическом аппарате: теории оптимизации, линейной алгебре, математической статистике и не только. Однако наука является фундаментом, а не основной областью деятельности специалистов, большинство из которых занимаются не теорией, а практикой, решают конкретные проблемы.

Разумеется, существуют крупные корпорации с большим штатом сотрудников, занимающихся исключительно научной работой, они создают новые алгоритмы и методы машинного обучения, а также улучшают уже имеющиеся.

Сегодня бизнесу хочется в первую очередь понимать, какой положительный эффект может оказать на него Data Science. Важно не то, как строятся модели с помощью алгоритмов машинного обучения, а почему вообще возникла потребность в их создании, как она была сформулирована в математическом ключе и реализована в конкретных способах решения задач.

Огромное значение имеет и проведение честных экспериментов, которые помогают правильной оценке эффективности примененных моделей работы в конкретном бизнесе.

Принцип работы Data Science

Рассмотрим теоретические основы науки о данных. Data science в русскоязычной среде просто транслитерируется – «дата сайенс». Это понятие понимается как совокупность ряда взаимосвязанных дисциплин и методов из области информатики и математики.

Только до 25 декабря —>
Пройди опрос и
получи
обновленный
курс от Geekbrains
Дарим курс по digital-профессиям
и быстрому вхождения в IT-сферу
Чтобы получить подарок, заполните информацию в открывшемся окне

Первая часть: data

В науке о данных сами данные очевидно занимают определяющее значение. Особое значение имеют методы их сбора, хранения, обработки, а также вычленения из общего массива данных полезной информации. Процесс получения этой выжимки занимает до 80 % рабочего времени специалистов этой области.

Существуют данные, которые не могут быть собраны и обработаны традиционными способами в виду их большого объема и/или разнообразия – их называют большими данными, или big data.

Важно! big data science является подразделом data science, а не ее синонимом. Однако в реальности дата-аналитики зачастую работают именно с большими данными.

Рассмотрим это на примере.

Попробуем проследить взаимосвязь между количеством чашек кофе, которые пьют сотрудники компании в течение дня, и тем, сколько они спали этой ночью. Имеется доступная информация: менеджер Евгений спал накануне 4 часа, после чего выпил 3 чашки кофе, Светлана спала 9 часов и не выпила ни одной чашки кофе, а Ольга спала 10 часов, но выпила 2,5 чашки кофе. Данные можно собирать по всем сотрудникам при необходимости.

Построим график на основе полученной информации о сне менеджеров и выпитых ими чашках кофе (кстати визуализация является важной составляющей любого data science-проекта). Ось X – это время в часах, ось Y – кофе в миллилитрах. Получим такой результат:

Вторая часть: science

Полученные данные нужно каким-то образом обработать, построенный график по идее должен привести нас к конкретным выводам. Для этого информацию следует проанализировать, извлечь из нее полезные закономерности и затем использовать. И вот тут активируется вторая часть data science, а именно такие дисциплины, как статистика, машинное обучение, оптимизация.

Благодаря им и формируется анализ данных. Машинное обучение обеспечивает поиск закономерностей в имеющихся данных, для того чтобы в дальнейшем иметь возможность предсказывать нужную информацию для новых объектов.

В нашем примере мы видим некоторую взаимосвязь между количеством сна и потребностью в кофе: чем меньше сна, тем больше хочется взбодриться тонизирующим напитком. Однако Ольга, которая и спит хорошо, и кофе очень любит, является исключением из общей картины. При этом мы все равно должны попытаться отразить закономерность общей прямой линией таким образом, чтобы она максимально близко подходила ко всем точкам.

Зеленая линия представляет собой модель машинного обучения, она обобщает данные и имеет математическое описание. Пользуясь этой моделью, можно определять значения для новых объектов. То есть зная, что новый сотрудник Сергей спал сегодня 7,5 часов, мы сможем предсказать, что в течение дня он выпьет около 300 мл кофе. Для этого просто подставим значение в модель. Красная точка – это наше предсказание.

Основная идея машинного обучения довольно проста: обнаружить закономерность и применить ее к новым данным. Но существует еще одна группа ключевых задач, которая имеет целью не предсказание каких-то значений, а разбивку данных на некоторые группы.

Data science-проект является прикладным исследованием, в котором обязательны такие этапы, как постановка гипотезы, разработка плана эксперимента и оценка результата его пригодности для решения определенной задачи. Это имеет огромное значение в сфере бизнеса, когда необходимо понять, будет ли польза от принятия конкретного решения.

Если вернуться к нашему примеру с кофе, то по результатам исследования можно было бы определить количество напитка, которое требуется сотрудникам офиса в течение месяца, и сделать закупку в соответствие с реальными потребностями людей. Однако проведя расчеты, необходимо сравнить полученную модель с уже существующей и выявить лучшую.

ТОП-30 IT-профессий
2022 года с доходом
от 200 000 ₽

Команда GeekBrains совместно с международными специалистами по развитию карьеры подготовили материалы, которые помогут вам начать путь к профессии мечты.

Подборка содержит только самые востребованные и высокооплачиваемые специальности и направления в IT-сфере. 86% наших учеников с помощью данных материалов определились с карьерной целью на ближайшее будущее!

Скачивайте и используйте уже сегодня:

Источник: gb.ru