Что такое Big Data
Только ленивый не говорит о Big Data, но что это такое и как это работает — понимает вряд ли. Начнём с самого простого — терминология. Говоря по-русски, Big Data — это различные инструменты, подходы и методы обработки как структурированных, так и неструктурированных данных для того, чтобы их использовать для конкретных задач и целей.
Термин «большие данные» ввёл редактор журнала Nature Клиффорд Линч ещё в 2008 году в спецвыпуске, посвящённом взрывному росту мировых объёмов информации. Хотя, конечно, сами большие данные существовали и ранее. К категории Big Data относится большинство потоков данных свыше 100 Гб в день. Сегодня под этим простым термином скрывается всего два слова — хранение и обработка данных.
Big Data — простыми словами
В современном мире Big Data — социально-экономический феномен, который связан с тем, что появились новые технологические возможности для анализа огромного количества данных.
Для простоты понимания представьте супермаркет, в котором все товары лежат не в привычном вам порядке. Хлеб рядом с фруктами, томатная паста около замороженной пиццы, жидкость для розжига напротив стеллажа с тампонами, на котором помимо прочих стоит авокадо, тофу или грибы шиитаке. Big Data расставляют всё по своим местам и помогают вам найти ореховое молоко, узнать стоимость и срок годности, а еще — кто, кроме вас, покупает такое молоко и чем оно лучше молока коровьего.
Что такое Big Data за 6 минут
Кеннет Кукьер: Большие данные — лучшие данные
Технология Big Data
Огромные объёмы данных обрабатываются для того, чтобы человек мог получить конкретные и нужные ему результаты для их дальнейшего эффективного применения. Фактически, Big Data — это решение проблем и альтернатива традиционным системам управления данными.
Техники и методы анализа, применимые к Big Data по McKinsey:
- Data Mining;
- Краудсорсинг;
- Смешение и интеграция данных;
- Машинное обучение;
- Искусственные нейронные сети;
- Распознавание образов;
- Прогнозная аналитика;
- Имитационное моделирование;
- Пространственный анализ;
- Статистический анализ;
- Визуализация аналитических данных
Горизонтальная масштабируемость, которая обеспечивает обработку данных — базовый принцип обработки больших данных. Данные распределены на вычислительные узлы, а обработка происходит без деградации производительности. McKinsey включил в контекст применимости также реляционные системы управления и Business Intelligence.
Технологии:
- NoSQL;
- MapReduce;
- Hadoop;
- R;
- Аппаратные решения
Для больших данных выделяют традиционные определяющие характеристики, выработанные Meta Group ещё в 2001 году, которые называются «Три V»:
- Volume — величина физического объёма.
- Velocity — скорость прироста и необходимости быстрой обработки данных для получения результатов.
- Variety — возможность одновременно обрабатывать различные типы данных.
Big Data: применение и возможности
Объёмы неоднородной и быстро поступающей цифровой информации обработать традиционными инструментами невозможно. Сам анализ данных позволяет увидеть определённые и незаметные закономерности, которые не может увидеть человек. Это позволяет оптимизировать все сферы нашей жизни — от государственного управления до производства и телекоммуникаций.
Например, некоторые компании ещё несколько лет назад защищали своих клиентов от мошенничества, а забота о деньгах клиента — забота о своих собственных деньгах.
Сюзан Этлиджер: Как быть с большими данными?
Решения на основе Big Data: «Сбербанк», «Билайн» и другие компании
У «Билайна» есть огромное количество данных об абонентах, которые они используют не только для работы с ними, но и для создания аналитических продуктов, вроде внешнего консалтинга или IPTV-аналитики. «Билайн» сегментировали базу и защитили клиентов от денежных махинаций и вирусов, использовав для хранения HDFS и Apache Spark, а для обработки данных — Rapidminer и Python.
Или вспомним «Сбербанк» с их старым кейсом под названием АС САФИ. Это система, которая анализирует фотографии для идентификации клиентов банка и предотвращает мошенничество. Система была внедрена ещё в 2014 году, в основе системы — сравнение фотографий из базы, которые попадают туда с веб-камер на стойках благодаря компьютерному зрению. Основа системы — биометрическая платформа. Благодаря этому, случаи мошенничества уменьшились в 10 раз.
Big Data в мире
По данным компании IBS, к 2003 году мир накопил 5 эксабайтов данных (1 ЭБ = 1 млрд гигабайтов). К 2008 году этот объем вырос до 0,18 зеттабайта (1 ЗБ = 1024 эксабайта), к 2011 году — до 1,76 зеттабайта, к 2013 году — до 4,4 зеттабайта. В мае 2015 года глобальное количество данных превысило 6,5 зеттабайта (подробнее).
К 2020 году, по прогнозам, человечество сформирует 40–44 зеттабайтов информации. А к 2025 году вырастет в 10 раз, говорится в докладе The Data Age 2025, который был подготовлен аналитиками компании IDC. В докладе отмечается, что большую часть данных генерировать будут сами предприятия, а не обычные потребители.
Аналитики исследования считают, что данные станут жизненно-важным активом, а безопасность — критически важным фундаментом в жизни. Также авторы работы уверены, что технология изменит экономический ландшафт, а обычный пользователь будет коммуницировать с подключёнными устройствами около 4800 раз в день.
Рынок Big Data в России
В 2017 году мировой доход на рынке Big date должен достигнуть $150,8 млрд, что на 12,4% больше, чем в прошлом году. В мировом масштабе российский рынок услуг и технологий big data ещё очень мал. В 2014 году американская компания IDC оценивала его в $340 млн. В России технологию используют в банковской сфере, энергетике, логистике, государственном секторе, телекоме и промышленности.
Что касается рынка данных, он в России только зарождается. Внутри экосистемы RTB поставщиками данных выступают владельцы программатик-платформ управления данными (DMP) и бирж данных (data exchange). Телеком-операторы в пилотном режиме делятся с банками потребительской информацией о потенциальных заёмщиках.
Обычно большие данные поступают из трёх источников:
- Интернет (соцсети, форумы, блоги, СМИ и другие сайты);
- Корпоративные архивы документов;
- Показания датчиков, приборов и других устройств.
Big Data в банках
Помимо системы, описанной выше, в стратегии «Сбербанка» на 2014–2018 гг. говорится о важности анализа супермассивов данных для качественного обслуживания клиентов, управления рисками и оптимизации затрат. Сейчас банк использует Big Data для управления рисками, борьбы с мошенничеством, сегментации и оценки кредитоспособности клиентов, управления персоналом, прогнозирования очередей в отделениях, расчёта бонусов для сотрудников и других задач.
«ВТБ24» пользуется большими данными для сегментации и управления оттоком клиентов, формирования финансовой отчётности, анализа отзывов в соцсетях и на форумах. Для этого он применяет решения Teradata, SAS Visual Analytics и SAS Marketing Optimizer.
«Альфа-Банк» за большие данные взялся в 2013 году. Банк использует технологии для анализа соцсетей и поведения пользователей сайта, оценки кредитоспособности, прогнозирования оттока клиентов, персонализации контента и вторичных продаж. Для этого он работает с платформами хранения и обработки Oracle Exadata, Oracle Big data Appliance и фреймворком Hadoop.
«Тинькофф-банк» с помощью EMC Greenplum, SAS Visual Analytics и Hadoop управляет рисками, анализирует потребности потенциальных и существующих клиентов. Большие данные задействованы также в скоринге, маркетинге и продажах.
Big Data в бизнесе
Для оптимизации расходов внедрил Big Data и «Магнитогорский металлургический комбинат», который является крупным мировым производителем стали. В конце прошлого года они внедрили сервис под названием «Снайпер», который оптимизирует расход ферросплавов и других материалов при производстве. Сервис обрабатывает данные и выдаёт рекомендации для того, чтобы сэкономить деньги на производстве стали.
Большие данные и будущее — одна из самых острых тем для обсуждения, ведь в основе коммерческой деятельности лежит информация. Идея заключается в том, чтобы «скормить» компьютеру большой объем данных и заставить его отыскивать типовые алгоритмы, которые не способен увидеть человек, или принимать решения на основе процента вероятности в том масштабе, с которым прекрасно справляется человек, но который до сих пор не был доступен для машин, или, возможно, однажды — в таком масштабе, с которым человек не справится никогда
Чтобы оптимизировать бизнес-процессы,«Сургутнефтегаз» воспользовался платформой данных и приложений «in-memory» под названием SAP HANA, которая помогает в ведение бизнеса в реальном времени. Платформа автоматизирует учёт продукции, расчёт цен, обеспечивает сотрудников информацией и экономит аппаратные ресурсы.
Big Data в маркетинге
Благодаря Big Data маркетологи получили отличный инструмент, который не только помогает в работе, но и прогнозирует результаты. Например, с помощью анализа данных можно вывести рекламу только заинтересованной в продукте аудитории, основываясь на модели RTB-аукциона.
Big Data позволяет маркетологам узнать своих потребителей и привлекать новую целевую аудиторию, оценить удовлетворённость клиентов, применять новые способы увеличения лояльности клиентов и реализовывать проекты, которые будут пользоваться спросом.
Сервис Google.Trends вам в помощь, если нужен прогноз сезонной активности спроса. Всё, что надо — сопоставить сведения с данными сайта и составить план распределения рекламного бюджета.
Big Data изменит мир?
От технологий нам не спрятаться, не скрыться. Big Data уже меняет мир, потихоньку просачиваясь в наши города, дома, квартиры и гаджеты. Как быстро технология захватит планету — сказать сложно. Одно понятно точно — держись моды или умри в отстое, как говорил Боб Келсо в сериале «Клиника».
Источник: medium.com
Программа биг дата что это
Только ленивый не говорит о Big data, но что это такое и как это работает — понимает вряд ли. Начнём с самого простого — терминология. Говоря по-русски, Big data — это различные инструменты, подходы и методы обработки как структурированных, так и неструктурированных данных для того, чтобы их использовать для конкретных задач и целей.
Неструктурированные данные — это информация, которая не имеет заранее определённой структуры или не организована в определённом порядке.
Термин «большие данные» ввёл редактор журнала Nature Клиффорд Линч ещё в 2008 году в спецвыпуске, посвящённом взрывному росту мировых объёмов информации. Хотя, конечно, сами большие данные существовали и ранее. По словам специалистов, к категории Big data относится большинство потоков данных свыше 100 Гб в день.
Сегодня под этим простым термином скрывается всего два слова — хранение и обработка данных.
Big data — простыми словами
В современном мире Big data — социально-экономический феномен, который связан с тем, что появились новые технологические возможности для анализа огромного количества данных.
Для простоты понимания представьте супермаркет, в котором все товары лежат не в привычном вам порядке. Хлеб рядом с фруктами, томатная паста около замороженной пиццы, жидкость для розжига напротив стеллажа с тампонами, на котором помимо прочих стоит авокадо, тофу или грибы шиитаке. Big data расставляют всё по своим местам и помогают вам найти ореховое молоко, узнать стоимость и срок годности, а еще — кто, кроме вас, покупает такое молоко и чем оно лучше молока коровьего.
Кеннет Кукьер: Большие данные — лучшие данные
Технология Big data
Огромные объёмы данных обрабатываются для того, чтобы человек мог получить конкретные и нужные ему результаты для их дальнейшего эффективного применения.
Фактически, Big data — это решение проблем и альтернатива традиционным системам управления данными.
Техники и методы анализа, применимые к Big data по McKinsey:
- Data Mining;
- Краудсорсинг;
- Смешение и интеграция данных;
- Машинное обучение;
- Искусственные нейронные сети;
- Распознавание образов;
- Прогнозная аналитика;
- Имитационное моделирование;
- Пространственный анализ;
- Статистический анализ;
- Визуализация аналитических данных.
Горизонтальная масштабируемость, которая обеспечивает обработку данных — базовый принцип обработки больших данных. Данные распределены на вычислительные узлы, а обработка происходит без деградации производительности. McKinsey включил в контекст применимости также реляционные системы управления и Business Intelligence.
Технологии:
- NoSQL;
- MapReduce;
- Hadoop;
- R;
- Аппаратные решения.
Для больших данных выделяют традиционные определяющие характеристики, выработанные Meta Group ещё в 2001 году, которые называются «Три V»:
- Volume — величина физического объёма.
- Velocity — скорость прироста и необходимости быстрой обработки данных для получения результатов.
- Variety — возможность одновременно обрабатывать различные типы данных.
Big data: применение и возможности
Объёмы неоднородной и быстро поступающей цифровой информации обработать традиционными инструментами невозможно. Сам анализ данных позволяет увидеть определённые и незаметные закономерности, которые не может увидеть человек. Это позволяет оптимизировать все сферы нашей жизни — от государственного управления до производства и телекоммуникаций.
Например, некоторые компании ещё несколько лет назад защищали своих клиентов от мошенничества, а забота о деньгах клиента — забота о своих собственных деньгах.
Сюзан Этлиджер: Как быть с большими данными?
Решения на основе Big data: «Сбербанк», «Билайн» и другие компании
У «Билайна» есть огромное количество данных об абонентах, которые они используют не только для работы с ними, но и для создания аналитических продуктов, вроде внешнего консалтинга или IPTV-аналитики. «Билайн» сегментировали базу и защитили клиентов от денежных махинаций и вирусов, использовав для хранения HDFS и Apache Spark, а для обработки данных — Rapidminer и Python.
Или вспомним «Сбербанк» с их старым кейсом под названием АС САФИ. Это система, которая анализирует фотографии для идентификации клиентов банка и предотвращает мошенничество. Система была внедрена ещё в 2014 году, в основе системы — сравнение фотографий из базы, которые попадают туда с веб-камер на стойках благодаря компьютерному зрению. Основа системы — биометрическая платформа. Благодаря этому, случаи мошенничества уменьшились в 10 раз.
Big data в мире
По данным компании IBS, к 2003 году мир накопил 5 эксабайтов данных (1 ЭБ = 1 млрд гигабайтов). К 2008 году этот объем вырос до 0,18 зеттабайта (1 ЗБ = 1024 эксабайта), к 2011 году — до 1,76 зеттабайта, к 2013 году — до 4,4 зеттабайта. В мае 2015 года глобальное количество данных превысило 6,5 зеттабайта (подробнее).
К 2020 году, по прогнозам, человечество сформирует 40-44 зеттабайтов информации. А к 2025 году вырастет в 10 раз, говорится в докладе The Data Age 2025, который был подготовлен аналитиками компании IDC. В докладе отмечается, что большую часть данных генерировать будут сами предприятия, а не обычные потребители.
Аналитики исследования считают, что данные станут жизненно-важным активом, а безопасность — критически важным фундаментом в жизни. Также авторы работы уверены, что технология изменит экономический ландшафт, а обычный пользователь будет коммуницировать с подключёнными устройствами около 4800 раз в день.
Рынок Big data в России
В 2017 году мировой доход на рынке big data должен достигнуть $150,8 млрд, что на 12,4% больше, чем в прошлом году. В мировом масштабе российский рынок услуг и технологий big data ещё очень мал. В 2014 году американская компания IDC оценивала его в $340 млн. В России технологию используют в банковской сфере, энергетике, логистике, государственном секторе, телекоме и промышленности.
Что касается рынка данных, он в России только зарождается. Внутри экосистемы RTB поставщиками данных выступают владельцы программатик-платформ управления данными (DMP) и бирж данных (data exchange). Телеком-операторы в пилотном режиме делятся с банками потребительской информацией о потенциальных заёмщиках.
| 15 сентября в Москве состоится конференция по большим данным Big Data Conference. В программе — бизнес-кейсы, технические решения и научные достижения лучших специалистов в этой области. Приглашаем всех, кто заинтересован в работе с большими данными и хочет их применять в реальном бизнесе. Следите за Big Data Conference в Telegram, на Facebook и «ВКонтакте». |
Обычно большие данные поступают из трёх источников:
- Интернет (соцсети, форумы, блоги, СМИ и другие сайты);
- Корпоративные архивы документов;
- Показания датчиков, приборов и других устройств.
Big data в банках
Помимо системы, описанной выше, в стратегии «Сбербанка» на 2014-2018 гг. говорится о важности анализа супермассивов данных для качественного обслуживания клиентов, управления рисками и оптимизации затрат. Сейчас банк использует Big data для управления рисками, борьбы с мошенничеством, сегментации и оценки кредитоспособности клиентов, управления персоналом, прогнозирования очередей в отделениях, расчёта бонусов для сотрудников и других задач.
«ВТБ24» пользуется большими данными для сегментации и управления оттоком клиентов, формирования финансовой отчётности, анализа отзывов в соцсетях и на форумах. Для этого он применяет решения Teradata, SAS Visual Analytics и SAS Marketing Optimizer.
«Альфа-Банк» за большие данные взялся в 2013 году. Банк использует технологии для анализа соцсетей и поведения пользователей сайта, оценки кредитоспособности, прогнозирования оттока клиентов, персонализации контента и вторичных продаж. Для этого он работает с платформами хранения и обработки Oracle Exadata, Oracle Big data Appliance и фреймворком Hadoop.
«Тинькофф-банк» с помощью EMC Greenplum, SAS Visual Analytics и Hadoop управляет рисками, анализирует потребности потенциальных и существующих клиентов. Большие данные задействованы также в скоринге, маркетинге и продажах.
Big data в бизнесе
Для оптимизации расходов внедрил Big data и «Магнитогорский металлургический комбинат», который является крупным мировым производителем стали. В конце прошлого года они внедрили сервис под названием «Снайпер», который оптимизирует расход ферросплавов и других материалов при производстве. Сервис обрабатывает данные и выдаёт рекомендации для того, чтобы сэкономить деньги на производстве стали.
Большие данные и будущее — одна из самых острых тем для обсуждения, ведь в основе коммерческой деятельности лежит информация. Идея заключается в том, чтобы «скормить» компьютеру большой объем данных и заставить его отыскивать типовые алгоритмы, которые не способен увидеть человек, или принимать решения на основе процента вероятности в том масштабе, с которым прекрасно справляется человек, но который до сих пор не был доступен для машин, или, возможно, однажды — в таком масштабе, с которым человек не справится никогда.
Чтобы оптимизировать бизнес-процессы,«Сургутнефтегаз» воспользовался платформой данных и приложений «in-memory» под названием SAP HANA, которая помогает в ведении бизнеса в реальном времени. Платформа автоматизирует учёт продукции, расчёт цен, обеспечивает сотрудников информацией и экономит аппаратные ресурсы. Как большие данные перевернули бизнес других предприятий — вы можете прочитать здесь.
Big data в маркетинге
Благодаря Big data маркетологи получили отличный инструмент, который не только помогает в работе, но и прогнозирует результаты. Например, с помощью анализа данных можно вывести рекламу только заинтересованной в продукте аудитории, основываясь на модели RTB-аукциона.
Big data позволяет маркетологам узнать своих потребителей и привлекать новую целевую аудиторию, оценить удовлетворённость клиентов, применять новые способы увеличения лояльности клиентов и реализовывать проекты, которые будут пользоваться спросом.
Сервис Google.Trends вам в помощь, если нужен прогноз сезонной активности спроса. Всё, что надо — сопоставить сведения с данными сайта и составить план распределения рекламного бюджета.
Биг дата изменит мир?
От технологий нам не спрятаться, не скрыться. Big data уже меняет мир, потихоньку просачиваясь в наши города, дома, квартиры и гаджеты. Как быстро технология захватит планету — сказать сложно. Одно понятно точно — держись моды или умри в отстое, как говорил Боб Келсо в сериале «Клиника».
А что вам интересно было бы узнать о больших данных? Пишите в комментариях 🙂
Материалы по теме:
- Начинающим
- Банки
- Большие данные
- Самые важные технологические тренды
- Тренды
Источник: rb.ru
Программа биг дата что это
Что такое Big data
Только ленивый не говорит о Big data, но что это такое и как это работает — понимает вряд ли. Начнём с самого простого — терминология. Говоря по-русски, Big data — это различные инструменты, подходы и методы обработки как структурированных, так и неструктурированных данных для того, чтобы их использовать для конкретных задач и целей.
Неструктурированные данные — это информация, которая не имеет заранее определённой структуры или не организована в определённом порядке.
Термин «большие данные» ввёл редактор журнала Nature Клиффорд Линч ещё в 2008 году в спецвыпуске, посвящённом взрывному росту мировых объёмов информации. Хотя, конечно, сами большие данные существовали и ранее. По словам специалистов, к категории Big data относится большинство потоков данных свыше 100 Гб в день.
Big data — простыми словами
В современном мире Big data — социально-экономический феномен, который связан с тем, что появились новые технологические возможности для анализа огромного количества данных.
Для простоты понимания представьте супермаркет, в котором все товары лежат не в привычном вам порядке. Хлеб рядом с фруктами, томатная паста около замороженной пиццы, жидкость для розжига напротив стеллажа с тампонами, на котором помимо прочих стоит авокадо, тофу или грибы шиитаке. Big data расставляют всё по своим местам и помогают вам найти ореховое молоко, узнать стоимость и срок годности, а еще — кто, кроме вас, покупает такое молоко и чем оно лучше молока коровьего.
Технология Big data
Огромные объёмы данных обрабатываются для того, чтобы человек мог получить конкретные и нужные ему результаты для их дальнейшего эффективного применения.
Фактически, Big data — это решение проблем и альтернатива традиционным системам управления данными.
Техники и методы анализа, применимые к Big data по McKinsey:
- Data Mining;
- Краудсорсинг;
- Смешение и интеграция данных;
- Машинное обучение;
- Искусственные нейронные сети;
- Распознавание образов;
- Прогнозная аналитика;
- Имитационное моделирование;
- Пространственный анализ;
- Статистический анализ;
- Визуализация аналитических данных.
Горизонтальная масштабируемость, которая обеспечивает обработку данных — базовый принцип обработки больших данных. Данные распределены на вычислительные узлы, а обработка происходит без деградации производительности. McKinsey включил в контекст применимости также реляционные системы управления и Business Intelligence.
- NoSQL;
- MapReduce;
- Hadoop;
- R;
- Аппаратные решения.
Для больших данных выделяют традиционные определяющие характеристики, выработанные Meta Group ещё в 2001 году, которые называются «Три V»:
- Volume — величина физического объёма.
- Velocity — скорость прироста и необходимости быстрой обработки данных для получения результатов.
- Variety — возможность одновременно обрабатывать различные типы данных.
Big data: применение и возможности
Объёмы неоднородной и быстро поступающей цифровой информации обработать традиционными инструментами невозможно. Сам анализ данных позволяет увидеть определённые и незаметные закономерности, которые не может увидеть человек. Это позволяет оптимизировать все сферы нашей жизни — от государственного управления до производства и телекоммуникаций.
Например, некоторые компании ещё несколько лет назад защищали своих клиентов от мошенничества, а забота о деньгах клиента — забота о своих собственных деньгах.
Решения на основе Big data: «Сбербанк», «Билайн» и другие компании
У «Билайна» есть огромное количество данных об абонентах, которые они используют не только для работы с ними, но и для создания аналитических продуктов, вроде внешнего консалтинга или IPTV-аналитики. «Билайн» сегментировали базу и защитили клиентов от денежных махинаций и вирусов, использовав для хранения HDFS и Apache Spark, а для обработки данных — Rapidminer и Python.
Или вспомним «Сбербанк» с их старым кейсом под названием АС САФИ. Это система, которая анализирует фотографии для идентификации клиентов банка и предотвращает мошенничество. Система была внедрена ещё в 2014 году, в основе системы — сравнение фотографий из базы, которые попадают туда с веб-камер на стойках благодаря компьютерному зрению. Основа системы — биометрическая платформа. Благодаря этому, случаи мошенничества уменьшились в 10 раз.
Big data в мире
По данным компании IBS, к 2003 году мир накопил 5 эксабайтов данных (1 ЭБ = 1 млрд гигабайтов). К 2008 году этот объем вырос до 0,18 зеттабайта (1 ЗБ = 1024 эксабайта), к 2011 году — до 1,76 зеттабайта, к 2013 году — до 4,4 зеттабайта. В мае 2015 года глобальное количество данных превысило 6,5 зеттабайта (подробнее).
К 2020 году, по прогнозам, человечество сформирует 40-44 зеттабайтов информации. А к 2025 году вырастет в 10 раз, говорится в докладе The Data Age 2025, который был подготовлен аналитиками компании IDC. В докладе отмечается, что большую часть данных генерировать будут сами предприятия, а не обычные потребители.
Аналитики исследования считают, что данные станут жизненно-важным активом, а безопасность — критически важным фундаментом в жизни. Также авторы работы уверены, что технология изменит экономический ландшафт, а обычный пользователь будет коммуницировать с подключёнными устройствами около 4800 раз в день.
Рынок Big data в России
В 2017 году мировой доход на рынке Big date должен достигнуть $150,8 млрд, что на 12,4% больше, чем в прошлом году. В мировом масштабе российский рынок услуг и технологий big data ещё очень мал. В 2014 году американская компания IDC оценивала его в $340 млн. В России технологию используют в банковской сфере, энергетике, логистике, государственном секторе, телекоме и промышленности.
Что касается рынка данных, он в России только зарождается. Внутри экосистемы RTB поставщиками данных выступают владельцы программатик-платформ управления данными (DMP) и бирж данных (data exchange). Телеком-операторы в пилотном режиме делятся с банками потребительской информацией о потенциальных заёмщиках.
Обычно большие данные поступают из трёх источников:
- Интернет (соцсети, форумы, блоги, СМИ и другие сайты);
- Корпоративные архивы документов;
- Показания датчиков, приборов и других устройств.
Big data в банках
Помимо системы, описанной выше, в стратегии «Сбербанка» на 2014-2018 гг. говорится о важности анализа супермассивов данных для качественного обслуживания клиентов, управления рисками и оптимизации затрат. Сейчас банк использует Big data для управления рисками, борьбы с мошенничеством, сегментации и оценки кредитоспособности клиентов, управления персоналом, прогнозирования очередей в отделениях, расчёта бонусов для сотрудников и других задач.
«ВТБ24» пользуется большими данными для сегментации и управления оттоком клиентов, формирования финансовой отчётности, анализа отзывов в соцсетях и на форумах. Для этого он применяет решения Teradata, SAS Visual Analytics и SAS Marketing Optimizer.
«Альфа-Банк» за большие данные взялся в 2013 году. Банк использует технологии для анализа соцсетей и поведения пользователей сайта, оценки кредитоспособности, прогнозирования оттока клиентов, персонализации контента и вторичных продаж. Для этого он работает с платформами хранения и обработки Oracle Exadata, Oracle Big data Appliance и фреймворком Hadoop.
«Тинькофф-банк» с помощью EMC Greenplum, SAS Visual Analytics и Hadoop управляет рисками, анализирует потребности потенциальных и существующих клиентов. Большие данные задействованы также в скоринге, маркетинге и продажах.
Big data в бизнесе
Для оптимизации расходов внедрил Big data и «Магнитогорский металлургический комбинат», который является крупным мировым производителем стали. В конце прошлого года они внедрили сервис под названием «Снайпер», который оптимизирует расход ферросплавов и других материалов при производстве. Сервис обрабатывает данные и выдаёт рекомендации для того, чтобы сэкономить деньги на производстве стали.
Большие данные и будущее — одна из самых острых тем для обсуждения, ведь в основе коммерческой деятельности лежит информация. Идея заключается в том, чтобы «скормить» компьютеру большой объем данных и заставить его отыскивать типовые алгоритмы, которые не способен увидеть человек, или принимать решения на основе процента вероятности в том масштабе, с которым прекрасно справляется человек, но который до сих пор не был доступен для машин, или, возможно, однажды — в таком масштабе, с которым человек не справится никогда.
Чтобы оптимизировать бизнес-процессы,«Сургутнефтегаз» воспользовался платформой данных и приложений «in-memory» под названием SAP HANA, которая помогает в ведение бизнеса в реальном времени. Платфторма автоматизирует учёт продукции, расчёт цен, обеспечивает сотрудников информацией и экономит аппаратные ресурсы. Как большие данные перевернули бизнес других предприятий — вы можете прочитать здесь.
Big data в маркетинге
Благодаря Big data маркетологи получили отличный инструмент, который не только помогает в работе, но и прогнозирует результаты. Например, с помощью анализа данных можно вывести рекламу только заинтересованной в продукте аудитории, основываясь на модели RTB-аукциона.
Big data позволяет маркетологам узнать своих потребителей и привлекать новую целевую аудиторию, оценить удовлетворённость клиентов, применять новые способы увеличения лояльности клиентов и реализовывать проекты, которые будут пользоваться спросом.
Сервис Google.Trends вам в помощь, если нужен прогноз сезонной активности спроса. Всё, что надо — сопоставить сведения с данными сайта и составить план распределения рекламного бюджета.
Биг дата изменит мир?
От технологий нам не спрятаться, не скрыться. Big data уже меняет мир, потихоньку просачиваясь в наши города, дома, квартиры и гаджеты. Как быстро технология захватит планету — сказать сложно. Одно понятно точно — держись моды или умри в отстое, как говорил Боб Келсо в сериале «Клиника».
Источник: intalent.pro
Анализ больших данных: будущее за Big Data
Анализ больших данных – это то, с чем сегодня сталкиваются компании, ведущие свою деятельность практически в любой сфере: маркетинг, ритейл, медицина, рынок недвижимости и т. д. Везде, где есть необходимость обрабатывать большие массивы информации, используются данные технологии, и востребованы специалисты.
Результаты анализа применяются для принятия стратегических решений, продвижения продукции и услуг, в социально значимых проектах и программах. О том, что такое Big Data, как с этим работают, насколько перспективна профессия, вы узнаете из нашего материала.
Суть анализа больших данных
Термин «Big Data» стал широко известен не так давно – согласно «Google Trends», уровень его употребления резко возрос в 2011 году. Сегодня понятие у всех на слуху, больше всего его любят и используют в любой, даже неподходящей ситуации маркетологи.
Big Data определяют как данные:
- объем которых превышает 100Гб/500Гб/1ТБ;
- которые не могут быть обработаны в «Excel».
- не поддающиеся обработке на одном компьютере.
Однако у термина есть официальное толкование, на которое и стоит опираться при работе с анализом больших данных. Это серия подходов, инструментов и методов работы со структурированной и неструктурированной информацией, которая отличается огромным объемом и значительным многообразием.
Цель такой деятельности состоит в получении результатов, которые могут восприниматься человеком и эффективны при постоянном приросте, распределении по многочисленным узлам вычислительной сети. Стоит пояснить, что речь идет об узлах, появившихся в конце 2000-х годов и выступающих в роли альтернативы традиционным системам управления базами данных и решениям класса «Business Intelligence».
Поэтому за интересующим нас термином скрываются не сведения в определенном объеме, а подходы, дающие возможность распределенно обрабатывать информацию. Они могут применяться к значительным и малым массивам данных, то есть как к содержанию всего, выложенного в Сеть, так и к одному тексту.
К системам анализа больших данных приходится прибегать при работе, например, со следующими источниками информации:
- логи поведения людей в Сети;
- GPS-сигналы транспортных средств, входящих в парк компаний, занимающихся доставкой;
- информация с датчиков Большого адронного коллайдера;
- оцифрованная литература, хранящаяся в РГБ;
- сведения о транзакциях клиентов определенного финансового учреждения;
- данные о покупках, совершенных людьми у крупного ритейлера.
Только до 18 декабря —>
Пройди опрос и
получи
обновленный
курс от Geekbrains
Дарим курс по digital-профессиям
и быстрому вхождения в IT-сферу
Чтобы получить подарок, заполните информацию в открывшемся окне
В современном мире источников информации становится все больше, поэтому возрастает потребность в соответствующих технологиях обработки.
Методы сбора и хранения больших данных
Анализ больших данных позволяет оценивать все факторы, способные повлиять на решение. Если говорить точнее, Big Data используется для построения моделей-симуляций, обеспечивающих возможность тестирования идеи, продукта.
Основными источниками, применяемыми при анализе больших данных, являются:
- интернет вещей (IoT) и устройства с доступом к нему;
- социальные сети, блоги и средства массовой информации;
- данные компаний о транзакциях, заказах товаров, поездках на такси и каршеринге, профили клиентов;
- сведения с приборов, таких как метеостанции, измерители состава воздуха, водоемов, информация, поступающая от спутников;
- статистика субъектов и государств, включающая в себя данные о перемещениях, рождении и смертях граждан;
- данные медицинского характера, в том числе анализы, болезни, снимки, применяемые для диагностики.
В 2007 года ФБР и ЦРУ начали использовать «PRISM», известный как одна из наиболее современных систем сбора персональных данных пользователей соцсетей, сервисов «Microsoft», «Google», «Apple», «Yahoo». Также он записывает общение людей по телефону.
Сегодня вычислительные системы открывают доступ к огромным массивам информации, для хранения которой создают дата-центры с мощнейшими серверами. Используются не только традиционные, материальные серверы, но и облачные хранилища, так называемые «озера данных» или «data lake», то есть содержащие большой объем сведений из одного источника, не имеющий четкой структуры.
Применяют «Hadoop», фреймворк с набором утилит, направленных на разработку и выполнение программ распределенных вычислений. Анализ больших данных производится за счет современных инструментов, в основе которых лежат самые современные методы интеграции и управления, подготовки сведений для нужд аналитики.
Методы и технологии анализа больших данных
Сегодня человек может проводить анализ любых объемов больших данных, поскольку в его распоряжении находятся такие высокопроизводительные технологии, как грид-вычисления, аналитика в оперативной памяти. Первым этапом работы с Big Data становится структурирование – здесь отбирают лишь наиболее подходящую информацию. Большие данные все активнее используют при проведении расширенной аналитики с применением искусственного интеллекта.
Существуют такие ключевые методы анализа больших данных:
К так называемому «descriptive analytics» прибегают чаще, чем к другим подходам. Он позволяет понять, что произошло, проверяет и оценивает исторические данные и информацию, поступающие онлайн. Основная задача данного метода состоит в обнаружении причин и закономерностей успехов, провалов в конкретной области. Полученные данные позволяют выстраивать наиболее эффективные модели.
В данной сфере пользуются базовыми математическими функциями. С их помощью проводят социологические исследования и формируют данные веб-статистики от «Google Analytics».
Также существует пара крупных классов моделей, позволяющих принимать решения относительно стоимости товаров. Первый основывается на рыночных ценах на определенный продукт. Он собирает и анализирует информацию о ценниках в магазинах, после чего на основе заключений по определенным правилам составляет прайс.
Другой тип моделей предполагает построение кривой спроса, свидетельствующей об объемах продаж в соответствии с ценой. Подобный подход к работе с большими данными больше связан с анализом. Его активно используют в онлайне, также эта технология постепенно переходит из виртуального в реальный мир.
ТОП-30 IT-профессий
2022 года с доходом
от 200 000 ₽
Команда GeekBrains совместно с международными специалистами по развитию карьеры подготовили материалы, которые помогут вам начать путь к профессии мечты.
Подборка содержит только самые востребованные и высокооплачиваемые специальности и направления в IT-сфере. 86% наших учеников с помощью данных материалов определились с карьерной целью на ближайшее будущее!
Скачивайте и используйте уже сегодня:
Александр Сагун
Исполнительный
директор Geekbrains
Топ-30 самых востребованных и высокооплачиваемых профессий 2022
Поможет разобраться в актуальной ситуации на рынке труда
Подборка 50+ ресурсов об IT-сфере
Только лучшие телеграм-каналы, каналы Youtube, подкасты, форумы и многое другое для того, чтобы узнавать новое про IT
ТОП 50+ сервисов и приложений от Geekbrains
Безопасные и надежные программы для работы в наши дни
Получить подборку бесплатно
Уже скачали 16744
- Прогнозная аналитика
Predictive analytics необходим, чтобы на основе имеющейся информации строить прогноз относительно наиболее вероятного сценария развития ситуации. Здесь применяют готовые шаблоны, при создании которых опирались на явления с аналогичным набором свойств. Такой подход дает возможность просчитать обвал мирового фондового рынка или изменение цен, оценить возможности конкретного потребителя при выплате кредита.
- Предписательная аналитика
Prescriptive analytics считается на уровень выше, чем предыдущая разновидность. За счет нее специалист по анализу больших данных обнаруживает проблемные места в бизнесе, либо иной деятельности, подбирает сценарии, позволяющий компании защититься от трудностей.
Среди примеров анализа больших данных данным способом стоит назвать деятельность медицинских центров «Aurora Health Care». Благодаря предписывающей аналитике, клиника каждый год экономит $6 миллионов, снизив на 10 % долю повторных госпитализаций.
- Диагностическая аналитика
В рамках diagnostic analytics раскрываются причины, удается выявлять аномалии и связи между событиями, поступками. Так, «Amazon» анализирует свои продажи и валовую прибыль по различным товарам, стремясь понять, почему они не принесли запланированные суммы.
В рамках анализа больших данных в бизнесе используют разные инструменты и технологии:
- Специальное ПО, такое как NoSQL, MapReduce, Hadoop.
- Data mining, что предполагает применение различных техник для получения сведений из массивов ранее неизвестной информации.
- Искусственный интеллект и нейросети для создания моделей на основе Big Data, распознавания текстовой информации, изображений. Так, стратегия оператора лотерей «Столото» в рамках Data-driven Organization основана на анализе больших данных. Компания рассматривает опыт потребителей и предлагает им подходящие продукты.
- Визуализация аналитики, то есть анимированные модели или графики, при создании которых используется Big Data.
Только до 22.12
Как за 3 часа
разбираться в IT
лучше, чем 90%
новичков и выйти на
доход в 200 000 ₽?
Приглашаем вас на бесплатный онлайн-интенсив «Путь в IT»! За несколько часов эксперты GeekBrains разберутся, как устроена сфера информационных технологий, как в нее попасть и развиваться.
Интенсив «Путь в IT» поможет:
- За 3 часа разбираться в IT лучше, чем 90% новичков.
- Понять, что действительно ждет IT-индустрию в ближайшие 10 лет.
- Узнать как по шагам c нуля выйти на доход в 200 000 ₽ в IT.
При регистрации вы получите в подарок:
Тест, в котором вы оцениваете свои качества и узнаете, какая профессия в IT подходит именно вам
«Критические ошибки, которые могут разрушить карьеру»
Собрали 7 типичных ошибок, четвертую должен знать каждый!
Тест «Есть ли у вас синдром самозванца?»
Мини-тест из 11 вопросов поможет вам увидеть своего внутреннего критика
Хотите сделать первый шаг и погрузиться в мир информационных технологий? Регистрируйтесь и смотрите интенсив:
Только до 22 декабря
Получить подборку бесплатно pdf 4,8mb doc 688kb
Осталось 17 мест
При сборе сведений разработчики пользуются такими основными факторами:
- Благодаря обезличиванию, персональные данные пользователей становится относительно недоступными.
- Из-за агрегированности сведений удается оперировать только средними показателями.
Для онлайн обработки больших объемов информации прибегают к суперкомпьютерам, так как они в разы превосходят обычные по мощности, вычислительным возможностям.
Профессии в сфере анализа больших данных
В интересующей нас области есть немало направлений, которые можно объединить в две группы:
- Big Data engineering;
- Big Data Analytics или
Хотя их зоны ответственности в сфере информационных технологий и анализа больших данных связаны друг с другом, у них немало серьезных отличий.
Специалист, обладающий первой профессией, разрабатывает каркас, занимается сбором, хранением данных. Кроме того, благодаря ему, информация становится доступной для потребительских и внутренних приложений.
Чтобы заниматься подобной работой, ему необходимы развитые навыки программирования, также он должен понимать, как компьютеры взаимодействуют в Сети. Однако математика и статистика его мало привлекают.
Обладатель второй профессии занимается непосредственно анализом больших данных, на основе готовых систем, которые создаются Big data engineering. Он рассматривает закономерности, разрабатывает методы классификации и прогнозирования. На заключительном этапе данный специалист должен интерпретировать полученные результаты.
Эта сфера подходит тем людям, которые разбираются в программировании, без труда решают задачи по высшей математике, знакомы с теорией вероятности, матанализом, комбинаторикой.
В целом, обязанности Big data Analytics предполагают расширенные вычисления по данным. А сфера Big data engineering – это проектирование и развертывание систем, по которым планируется производить вычисления.
Спрос на специалистов в сфере анализа больших данных
Работа с большими данными становится все более востребована. Так, в 2020 году подсчитали, что даже при не самом благоприятном развитии событий объем данного рынка в нашей стране к 2024 году увеличится с 45 до 65 миллиардов рублей. Если ситуация будет складываться позитивно, то показатели вырастут до 230 миллиардов рублей.
Уже очевидно: те компании, которые отказываются от анализа больших данных, лишают себя выгоды. По сведениям «The Bell» в 2014 году дистрибьюторы «Caterpillar» упустили прибыль в размере $9 – $18 миллиардов, не внедряя подобные технологии обработки. На данный момент на 3,5 миллионах единиц техники корпорации стоят датчики для сбора сведений о ее состоянии, износе ключевых деталей – так упрощается управление затратами на обслуживание.
Рост использования больших данных в разных сферах привел к тому, что востребованы стали специалисты и обучение анализу больших данных. Академия «MADE» от «Mail.ru Group» и «HeadHunter» провели в середине 2020 года исследование, согласно итогам которого специалисты по анализу данных относятся к наиболее востребованным на рынке труда в России.
Источник: gb.ru