пятница, 20 октября 2017 г.

Большие данные

Откройте онлайн-презентацию "Что Google знает о нас?", скопируйте слайд-шаблон и заполните копию.


Работа 1 группы:

Работа 2 группы:

Read more publications on Calaméo

Что такое большие данные?


Большие данные (Big Datas)— это совокупность технологий, которые призваны совершать три операции:
  • обрабатывать бо́льшие по сравнению со «стандартными» сценариями объемы данных
  • уметь работать с быстро поступающими данными в очень больших объемах. То есть данных не просто много, а их постоянно становится все больше и больше
  • должны уметь работать со структурированными и плохо структурированными данными параллельно в разных аспектах. Большие данные предполагают, что на вход алгоритмы получают поток не всегда структурированной информации и что из него можно извлечь больше чем одну идею.

Типичный пример больших данных — это информация, поступающая с различных физических экспериментальных установок — например, с Большого адронного коллайдера, который производит огромное количество данных и делает это постоянно. Установка непрерывно выдает большие объемы данных, а ученые с их помощью решают параллельно множество задач.

Почему это понятие появилось только сейчас?

Появление больших данных в публичном пространстве было связано с тем, что эти данные затронули практически всех людей, а не только научное сообщество, где подобные задачи решаются давно. В публичную сферу технологии Big Data вышли, когда речь стала идти о вполне конкретном числе — числе жителей планеты. 7 миллиардов, собирающихся в социальных сетях и других проектах, которые соединяют людей - YouTube, Facebook, ВКонтакте, где количество пользователей измеряется миллиардами, а количество операций, которые они совершают одновременно, огромно. Поток данных в этом случае — это пользовательские действия. Например, данные того же хостинга YouTube, которые переливаются по сети в обе стороны. Под обработкой понимается не только интерпретация, но и возможность правильно обработать каждое из этих действий, то есть поместить его в нужное место и сделать так, чтобы эти данные каждому пользователю были доступны быстро, поскольку социальные сети не терпят ожидания.

Источники больших данных в современном мире


Многое из того, что касается больших данных, подходов, которые используются для их анализа, на самом деле существует довольно давно. Например, обработка изображений с камер наблюдения, когда мы говорим не об одной картинке, а о потоке данных. Или навигация роботов. Все это существует десятки лет, просто сейчас задачи по обработке данных затронули гораздо большее количество людей и идей.

Как используются большие данные?

Ориентация на клиента

Компания VidiMax

Отрасль: предоставление контента – фильмы.

Сервис VidiMax

VidiMax – сервис, предоставляющий лицензированный доступ к художественному и документальному кино, сериалам, мультфильмам, спортивным трансляциям и телешоу. Доступен через смарт-ТВ, имеет около 1 млн. пользователей. Для повышения лояльности пользователей во время бесплатного пробного двухнедельного использования сервиса совместно с компанией E-Contenta была внедрена рекомендательная система, появился блок персональных рекомендаций.

Результат: фильмы в блоке персональных рекомендаций смотрят в 2,5 раза чаще, чем фильмы в подборке из самых популярных фильмов.

Компания: Red Roof Inn.

Отрасль: гостиничный бизнес.

Зимой 2014 г. американская сеть гостиниц Red Roof Inn столкнулась со снижением потока туристов в связи с суровой зимой и неблагоприятными погодными условиями. Однако из-за таких погодных условий в аэропортах ежедневно отменяли большое количество рейсов, пассажиры надолго оставались в аэропортах и нуждались в гостинице. Используя открытые данные о погодных условиях и отмене рейсов, компания смогла отправлять пассажирам задержанных рейсов персонализированные предложения с контактными данными ближайшей к аэропорту гостиницы сети как раз тогда, когда они были наиболее востребованы.

Гостиница Red Roof Inn

Результат: дополнительный прирост выручки на 10% к предыдущему году даже в условиях сниженного потока туристов.

Внутренняя оптимизация

Компания Union Pacific Railroad

Отрасль: транспорт.

Union Pacific Railroad – крупнейшая железнодорожная компания США, имеет более 8 тыс. локомотивов и владеет крупнейшей в США сетью железных дорог. На дне каждого состава компании были установлены термометры, акустические и визуальные сенсоры и другие датчики. Данные от них передаются в центр обработки по волоконно-оптическим кабелям, протянутым вдоль сети железных дорог. Центр обработки также получает данные о погодных условиях, данные о состоянии тормозных и других систем, GPS-координаты составов. Собранные данные и построенные по ним предиктивные модели позволяют отслеживать состояние колес и железнодорожного полотна и предсказывать сход составов с рельсов за несколько дней или даже недель до возможного инцидента. Этого времени достаточно для того, чтобы оперативно устранить проблемы, избежать повреждений состава и задержки остальных поездов. 

Поезд компании Union Pacific

Результат: компании удалось снизить число схождений составов с рельсов на 75% и избежать значительных потерь (ранее потери от одного схода с рельсов могли достигать 40 млн. $).


Департамент полиции Лос-Анжелеса

Отрасль: государственный сектор – полиция.

Используя решения, разработанные компанией PredPol, полиция Лос-Анджелеса смогла получать наиболее вероятное время и районы (с высокой точностью, порядка 50 кв. м) совершения различных типов преступлений и для их предотвращения направлять туда дополнительные силы полиции. Система использует исторические данные о времени, типе и районе совершения преступлений, обрабатывает их с помощью алгоритмов кластеризации в пространстве и во времени. Предсказательное моделирование осуществляется с помощью математических моделей точечных процессов. Никакие персональные данные находящихся в городе людей и данные об их местонахождении при этом не используются, что позволяет соблюсти требования приватности частной жизни. Снижение числа преступлений привело к сокращению затрат в полиции, судебной системе и системе исполнения наказаний.

Департамент полиции Лос-Анжелеса

Результат: сокращение числа краж на 33%, снижение числа насильственных преступлений на 21%.


Комментариев нет:

Отправить комментарий