Как возникла эта профессия?

Ты, наверное, знаешь, что онлайн-магазины и сайты с различными услугами и сервисами появились в интернете далеко не сразу, только в 2000-е годы. Люди стали создавать целые бизнесы в интернете, которыми управляют огромные корпорации. Разумеется, такие компании предоставляют услуги миллиардам людей по всему миру. И вскоре руководители онлайн-бизнесов стали нанимать социологов (специалистов, изучающих поведение людей) и маркетологов (специалисты по продажам), которые по так называемому «цифровому следу» (сайты, которые посещает пользователь, и действия, которые он совершает) отслеживают поведение людей в Сети. И в зависимости от того, на каких сайтах они проводят время и какие запросы посылают в поисковые системы, можно предсказать, чего они захотят в ближайшем будущем, какие вещи, услуги и гаджеты они будут покупать.

Вся эта информация, собранная вместе, и называется «большие данные» – по-английски Big Data. На первых компьютерах и серверах (онлайн-хранилищах данных) данные занимали не так много места, но после того, как половина нашей жизни стала проходить в интернете, этой информации нужно было не только где-то храниться, но и быть упорядоченной. Еще в далеком 1997 году исследователи NASA (американская космическая корпорация) заметили, что их компьютеры не справляются с объемом данных. А уже в 2010-х big data стали называть те данные, которые растут с огромной скоростью каждую секунду – потому что больше половины земного шара эти данные создают.

Твоя деятельность как специалиста по большим данным может быть очень разнообразной и полезной. В нашем современном мире не все могут справиться и тем более проанализировать такой огромный поток информации. Работа специалиста по большим данным обладает полезной статистической информацией, которая может принести успех и положительные результаты многим компаниям и миру в том числе.

Big Data – главная ценность XXI века

Возможно, ты знаешь, что главной экономической ценностью прошлого века была нефть. Персональные компьютеры и интернет еще не развивались так стремительно, как в конце 1990-х. Цифровой экономики еще не существовало. А автомобили, разнообразная техника и промышленность являлись основой для товарообмена между странами, и для всего этого нефть как самое распространенное топливо была просто необходима.

Но в XXI веке все изменилось, появилась цифровая экономика, для которой расстояния зачастую ничего не значат. Поэтому главной ценностью стало владение, управление и использование данных. Теперь на их основе происходит экономический обмен между людьми. Компании по всему миру конкурируют за первенство в разработке глобальных систем доступа к данным. Собирая и анализируя массивы данных, компании выстраивают свои продажи и достигают лидерства в своих областях.

Прекрасный пример – социальные сети, многими их которых ты наверняка пользуешься. Специальные программы собирают информацию о том, какую ты музыку слушаешь, какие фильмы смотришь, какие покупки делаешь, какие у тебя интересы. Далее маркетологи и аналитики используют эти данные – какую рекламу тебе показать, какого блогера, видео какого исполнителя порекомендовать. Ты можешь видеть работу этих алгоритмов, например, на YouTube, где существует подборка рекомендаций – в зависимости от данных, которые ты ввел в своем профиле или от твоих ранее просмотренных видео. В любых соцсетях таким образом делают для тебя подборку подкастов, плейлистов, треков, рекламы и т.д.

Или же взять «Яндекс» – его сервисы охватывают очень многие сферы нашей жизни. «Яндекс.Такси» запоминает адреса, куда ты чаще всего ездишь, или тип машины и тарифа, который тебе нравится. «Яндекс.Еда» рекомендует тебе блюда, которые тебе могут понравиться, «Яндекс.Музыка» – треки по твоему возрасту и вкусу. На основании твоих предпочтений «Яндес.Маркет» рекомендует тебе новинки в сфере гаджетов или бытовой техники и многое другое.

И с каждым днем появляется все больше удобных и интересных сервисов, собирать и анализировать данные для которых сможешь уже ты сам!

Чем занимаются специалисты по большим данным?

Аналитика, обработка и структуризация данных

Специалисты по данным анализируют очень большие объемы информации в социальных сетях, в онлайн-магазинах и других интернет-сервисах. Используя методы информатики, математики и статистики, они придумывают технические процедуры по обработке данных и извлекают из этой гигантской массы неупорядоченных «клочков» полезные знания. Крупные компании ставят таким профессионалам определенные цели – например, анализ того, какую мебель пользователи ищут в Сети, – и они «раскладывают по полочкам» предпочтения и выбор клиентов этой компании, чтобы в будущем предложить им то, что совпадает с их желаниями.

Разработка программ и алгоритмов для работы с данными

Для того чтобы обработать и структурировать гигантский объем информации, нужны специальные программы и приложения. ИТ-специалисты помогают Bigdata-аналитикам в этом – они делают так, чтобы им было проще работать с данными. В сборе и обработке информации очень много однообразных действий, которые берут на себя программисты. Информация структурируется автоматически, что значительно облегчает работу аналитиков, которым лишь остается сделать полезные выводы и передать обработанные данные в отдел продаж или статистики.

 Превращение данных в инструменты бизнеса

Используя полученные и структурированные данные, аналитики передают их в маркетинговые (продающие) отделы компаний или же в органы государственной власти. Понять, кто и как проголосовал на выборах – тоже задача аналитиков больших данных. Какой возраст, пол, политические предпочтения были у тех, кто пришел на голосование. Но все же главным образом полученная информация полезна для бизнеса – какие продукты питания, какую одежду, какие квартиры и недвижимость, какие гаджеты и технологии люди будут приобретать в ближайшем будущем.