Big Data – совокупность данных, которые обрабатываются разными способами в информационных системах. Термин появился из-за активного роста информации в середине 2008 года.

Объем информации, которые используются в «больших данных», к середине 2019 года превысил тысячи петабайт. Точное количество невозможно подсчитать.

Устройства, которые подключены к «мировой паутине», наполняют «большие данные» актуальной информацией. Также данные поступают из социальных сетей, почты, новостной ленты сайтов и т.д.

Кто использует технологию

Big data востребована в разных структурах. Первыми использовали технологию провайдеры сотовой связи и «поисковики». Доступ к «мировой паутине» появлялся у многих граждан, количество запросов росло, и поисковые системы не справлялись с нагрузкой.

После внедрения технологии в поисковый алгоритм скорость обработки запросов возросло, пользователь получал результаты за милисекунды.

Вторыми, кто интегрировал Big data – финансовые организации. Количество клиентов увеличивалось, портфель банковских решений пополнялся, интернет-банкинг активно использовался со стороны клиентов – это привело к тому, что внедрение технологии стало необходимостью.

На 2019 год большинство компаний используют «большие данные» в своих решениях и информационных системах.

Специалисты Big Data

Для работы с технологией потребуются специалисты. В 2017 году в некоторые университеты открыли новые специальности на факультетах, которые связаны с Big Data. Расскажем о некоторых профессиях.

Дата-инженер работает с оборудованием, которое обрабатывает информацию. Он отвечает за работоспособность и стабильность при работе с «большими данными». Сервера, СХД, инфраструктура, кластеры и другие элементы входят в зону ответственности специалиста.
Аналитик отвечает за точность предоставленных данных. Он проверяет запросы и сравнивает результаты между собой. После анализа информации подготавливает краткий обзор.
Программист составляет скрипты и шаблоны для задач аналитика. Манипулирует языками программирования для точного запроса либо разрабатывает собственный языка скриптов.

С развитием Big Data появятся новые направления и специальности.

Также для работы с «большими данными» используют определенные инструменты (информационные системы, специализированное программное обеспечение и т.д.). Наиболее востребованной считается ИС Hadoop.

Она интегрируется с решениями других вендоров, обладает возможностью подключения сторонних программных разработок в виде плагинов, спроектирована для работы с Big Data.