Технология Big Data

В первом десятилетии нового века появился новый термин — большие данные или big data. Он объединил определение массива информации, варианты работы с ним. То есть технологии больших данных big data – это набор несвязанных или связанных между собой параметров, чтобы структурировать и статистически обработать которые, нужны новые подходы, принципы работы с информацией. За десять лет понятие прочно вошло в обиход маркетологов, исследователей, бизнесменов. Новый способ используют для анализа научной информации, производственных данных, медицинской статистики, банковских операций.

Суть новой методики

Технологии анализа big data применяют для работы с той информацией, которую стандартными методами исследовать невозможно. Они объединяют любые сведения, соответствующие принципу трех V, по начальным буквам слов:

• Volume: исходных параметров должно быть много, их объем постоянно растет;
• Velocity: необходима высокая скорость операций, чтобы их структурировать, систематизировать, привести к общему знаменателю;
• Variety: большое разнообразие источников, откуда черпают параметры для исследований.

Со временем в этим принципы, сформулированные в начале XXI века, добавили еще две V:  Value или ценность исходников и конечного результата для разных областей деятельности, Viability или жизнеспособность. То есть любые данные должны быть нужными, приносящими практическую выгоду от использования. Их ценность должна оправдать затраты на хранение, сбор, обработку.

Суть технологии в том, чтобы найти набор значений, отвечающих принципам трех или четырех V, создать из них какой-то статистический или структурированный блок, которым смогут использовать дальше. Например, собирают обзор о дисконтах, выданных любыми магазинами за год. После обработки становится понятно: какие группы покупателей, пользовались какими товарами. Группы покупателей могут разбить по полу, возрасту, объему среднего чека, частоте покупок и так далее. Товары — по цене, принадлежности к продуктам, промтоварам, бакалее, сделать более узкую разбивку: сколько женщин 25 — 30 лет покупают детское питание определенной марки. Такая обработка информации нужна производственникам, маркетологам, продажникам.

Откуда берут информацию

Яркий пример огромного потока неструктурированных данных, из которых можно и нужно выбирать зерна важных сведений — страницы в социальных сетях. Они постоянно обновляются, меняется число внутренних взаимодействий между отдельными пользователями, тематическими сообществами и прочее. Для обработки этого массива нужны технологии, которые могут за единицу времени анализировать гигантские объемы оценок, обзоров и прочего.

Применяют технологии big data для анализа банковских транзакций (например, обработка сведений по ЖКХ-платежам), показателей, поступающих с метеозондов или датчиков сейсмической активности.

По этой схеме обрабатывают всевозможные записи систем безопасности, даже звонки сотовых операторов. Научные исследования теперь немыслимы без способов структурирования, классификации, моря исходных данных. Постепенно они приходят в управление производством, государственное планирование.

Какие техники обработки данных используют

Использование технологий анализа big data без набора инструментов, которые сделают этот самый анализ, невозможно. Чтобы проанализировать большой набор параметров, используют:

• Data Mining или глубинный анализ (методы класса): разнообразные совокупности математических алгоритмов, объединенные с новейшими информационными технологиями.
• Краудсорсинг: одновременное анализирование параметров, которые поступают из неограниченного числа ресурсов.
• А/В-тестирование: сравнение нескольких выборок, сделанных по какому-либо признаку. Похожие кластеры сравнивают между собой, затем меняют одно или несколько исходных значений. Снова сравнивают. Так определяют, какой параметр больше влияет на конечный результат, получают максимально достоверные выводы.
• Прогнозная аналитика, которая на основе выводов из сведений, прошедших обработку, предугадывает дальнейшее развитие событий или поведения объекта. Один из примеров такой операции — составление биржевых прогнозов.
• Искусственный интеллект или обучающиеся машины, для которых делают алгоритмы на базе анализа и эмпирических предположений.
• Сетевой анализ, при котором не систематизированные оценки классифицируют на группы по определенным признакам. Потом отслеживают развитие этих групп между собой или с отдельными пользователями.

Применяют визуальное распознавание, имитационное моделирование, многие другие техники, которые появились в последние 3 — 5 лет. Все зависит от цели: зачем нужно обработать информацию, какие выводы получить.

Перспективы развития

Сейчас технологии анализа big data — дорогое удовольствие, которое доступно крупным концернам, государственным подразделениям. Тем структурам, у которых в распоряжении есть необходимые материальные, технические, людские ресурсы. Эксперты считают, что по мере совершенствования техник обработки информации, методики будут дешеветь. Придут в средний и малый бизнес. Они видят несколько путей развития, которые позволят сократить затраты на методики, способные проанализировать крупные массивы различных показателей:

• Развитие системы облачных хранилищ и дата-центров. Обращаться к такому источнику за абонентскую плату будет дешевле, чем содержать собственный штат специалистов.
• Использование «темных данных» или Dark Data. Система во время обработки сведений, посылает массу запросов, получает ответы, скапливается массив результатов, которые в расчетах не участвуют в данный момент, но могут пригодится в будущем. Получается, что пользователю, которому они нужны, собирать заново ничего не надо. Достаточно обработать накопленное, а это в разы дешевле, чем искать заново. Тут словосочетание «темные данные» используют не в смысле «незаконные», а в смысле «не нужные» в данную единицу времени.
• Развитие машин с искусственным интеллектом, которые способны обучаться, работать по принципам человеческого мозга, но лучше него. Они не устают, не делают ошибки, ничего не забывают и не теряют.

• Blockchain-технология, когда отдельные блоки информации хранятся в разных местах, собираются воедино по определенному алгоритму. С ее помощью получается сократить количество взаимодействий, запросов и прочих транзакций.
• Развитие бесплатной системы облачных хранилищ, в которых пользователи смогут архивировать неограниченное количество сведений, обрабатывать их при необходимости самостоятельно.

Пока новшество используются весьма ограничено, но уже видны плюсы технологии больших данных big data.

Плюсы для бизнесменов и маркетологов

Любое бизнес-планирование, маркетинговая стратегия, основаны на полученных сведениях, проанализированных и структурированных. Новые методики позволяют в десятки раз увеличить количество исходных данных, делая выводы и прогнозы более достоверными. С их помощью возможно:

• Создать уникальный проект, востребованный у целевой аудитории, приносящий прибыль.
• Корректировать существующие сервисы в соответствии с потребностями, требованиями клиентов.
• Анализировать потребности отдельных пользователей, социальных групп, знать их. Создавать продукты или услуги, соответствующие им.
• Обеспечить лояльность клиентов быстрой реакцией на запросы, мгновенный подбор необходимого товара, услуги и прочего.
• Контроль большого объема виртуальных сведений помогает управлять целевой аудиторией, добиваться от нее нужной реакции.

Как пример грамотного использования новейших методик можно привести сервисы:  Google.trends, Master Card, VISA, IBM. Например, компания IBM смогла на 50% уменьшила количество ложных срабатываний. VISA — защитила от мошенников более двух млрд долларов. Игра World of Tanks сделала сервис, востребованный рекордным количеством геймеров за короткий интервал времени. И таких примеров уже довольно много. Из них ясно одно: за методиками, которые помогут проанализировать большое количество параметров, — будущее.