С развитием интернета, экономики, бизнеса, науки образуются огромные объемы информации и данных, которые лишь продолжают расти с каждым днем.
Ежедневно ее создают люди в социальный сетях, камеры видеонаблюдения, информации с банковских карт, информации о покупках в обычных и онлайн-магазинах и так далее. Это настолько большой объём информации, что человек уже не может обработать. Это и есть большие данные.
Уже сейчас специалисты в области Больших данных говорят, что будущее за ними. Но так как явление это относительно новое, оно требует более детального изучения, хотя на сегодняшний день рынок аналитики БД значительно расширился и улучшился, и ожидаются значительное развитие и перемены. Благодаря изучению данных в интернете вещей рынок изучения БД будет расти.
Так SiliconAngle, аналитическая группа, в том числе занимающаяся изучением Искусственного Интеллекта и Блокчейн, предполагают, что рынок аналитики БД будет только расти и увеличится на 11% каждый год, а в 2027 достигнет $103 млрд.во всем мире.
Чтобы собрать и объединить данные, требуются специальные платформы.
Самые крупны поставщики это Google с Cloud Platform, Microsoft Azure и Amazon Web Services, IBM и друге, предоставляющие общедоступное облако Больших данных, в которых клиент имеет возможность создавать новые приложения, перенося при этом старые. Благодаря такой открытости для клиентов эти поставщики имеют более устойчивое и выгодное положение.
Так же общедоступное облако в сравнении с частным выигрывает благодаря анализу БД для каждой категории клиентов, так как общедоступные облачные решения формируются намного быстрее, что расширяет функциональные возможности с большей конкурентоспособностью, расширяют экосистемы интерфейса прикладного программирования и совершенствуют свои инструменты администрирования быстрее.
Так же существует более сложная модель – Гибридные облака (hybrid cloud), которые являются сочетанием двух и более облаков.
На пути к более полному развертыванию в общедоступных облаках они часто входят в планы БД, становятся идеальной промежуточной точкой для корпоративных больших данных, хотя и являются чаще переходной стратегией. Причина этого в том, что предприятия предпочитают размещать большинство данных в общедоступных облаках.
Поэтому, наблюдая подобные тенденции, поставщики БД предпочитают оптимизировать свои продукты для именно гибридных вариантов.
Стоит учитывать, что облачная конвергенция хранилищ БД время от времени ускоряется. Постепенно пользователями наращиваются темпы консолидации своих изолированных ресурсов БД в общедоступные облака. Доминирование публичных облачных провайдеров рушит кросс-бизнес силосов (silos), которые до сих пор поражали частные архитектуры БД.
Так же важно, решения для больших данных, как в облачной и локальной, сходятся в комплексные предложения, предназначенных для того, чтобы упростить и ускорить окупаемость. Всё больше провайдеров предоставляют стандартизированный API для более упрощенного доступа и ускорения развития.
Развитие БД приводит к появлению новых инновационных стартапов приложений с совершенствующимся и более сложным Искусственным Интеллектом.
Поставщики уникальных приложений нарушают устоявшуюся в данной сфере кокуренцию именно с помощью решений на базе ИИ. При этом угрозы со стороны новых участников только возрастают, затрагивая каждый сигмент БД, при этом большая часть разработок создана как раз для или гибридных облачных развертываний. За последние несколько лет на рынок вышло множество новых стартапов в области баз данных, потоковой обработки и обработки данных.
Разрушительные подходы к БД становятся более выгодными альтернативами установленным платформам. Вскоре, на основе подхода следующего поколения, которое сочетает IoT, blockchain и потоковые вычисления, появится новое поколение провайдеров платформы больших данных “unicorn”
Большая часть этих платформ БД следующего поколения будет оптимизирована для управления сквозным конвейером devops для машинного обучения, глубокого обучения и ИИ. Кроме того, платформы больших данных разрабатываются для микрослужб AI на периферийных устройствах.
Так же можно наблюдать, как в последнее время пользователи все чаще смешивают многовидовые развертывания БД в открытых экосистемах. Поставщики БД куда реже предоставляют только стандартные или только неконвертируемые компоненты. Пользователи стараются максимально использовать совершенствующийся рынок от поставщиков аналитики больших данных. Поставщики при этом разделяют свои инструменты на модульные архитектуры, чтобы у клиентов была возможность менять компоненты на самых разных функциональных уровнях. Это идеальный подход для поставщиков, которые хотели бы получить устойчивую долю на рынке.
Теперь БД деконструируются и собираются чаще в рамках новых инновационных технологий.
Насупает время, когда потоковая передача в памяти и бессерверные инфраструктуры анализа БД будут господствовать, а та БД, к которой все привыкли с архитекрурной точки зрения, будет постепенно исчезать.
По мере всё новых и новых возникающих требований, поставщики БД уже сейчас находят новые способы поиска данных для улучшения автоматизированного машинного обучения и когнитивной аналитики Интернета вещей.
Цепочки инструментов обработки и анализа данных чаще автоматизируют сквозной конвейер devops. Расширенное программирование БД будет теперь будет только развиваться. У разработчиков имеется доступ к растущему разнообразию инструментов devops для автоматизации различных задач в области разработки и управления машинным обучением, обучения и других ресурсов ИИ. А чем больше развиваются БД и ИИ, тем более доступными становятся приложения для их анализа.
Благодаря этому в ближайшем пользователи смогут получать больше решений для анализа данных в виде предварительно построенных, предварительно обработанных и плагированных облачных сервисов.
Помимо этого эти сервисы смогут адаптироваться, самообучаться и настраиваться под конкретные потребности для достижения максимальных результатов в науке и бизнесе.
Есть ли препятствия у развития данных технологий?
Несомненно. Даже не смотря на все плюсы и позитивные перспективы, остаётся ряд вопросов и проблем, которые требуют дальнейшей доработки.
И самая очевидная – новизна. Да, большие корпорации уже стараются использовать имеющиеся технологии, но для большинства эта область пока остаётся непознанной, требуется большее количество специалистов.
Однако на данный момент из-за сложности технологий их недостаточно. Следовательно нужно работать над инструментами, архитектурой, упрощать интерфейс, как например в Google, чтобы разработчики, не имеющие достаточного количества осведомленного персонала, всё же могли познакомиться и работать с технологией.
Еще один из вопросов – финансовый. Пока технология только развивается, а процессы управления аналитикой БД изолированы и слишком дорогостоящие для специалистов, развитие БД будет тормозиться.
Нужно направить имеющиеся средства , на то чтобы создать предварительно упакованные рабочие процессы, которые помогут большим группам специалистов эффективнее, быстрее и более точно управлять данными, метаданными, аналитикой и определениями служб.
Наконец собственные приложения. Профессиональные службы анализа больших данных по-прежнему необходимы для разработки, развертывания и управления приложениями пользователей. Это особенно актуально для управляемых данными приложений, которые охватывают гибридные облака, используют различные платформы и инструменты и включают в себя сложные процессы обработки данных. Поставщикам необходимо доводить до идеального содержимое предварительно упакованных приложений для распространенных аналитических сервисов, предоставляя пользователям простые и удобные инструменты самообслуживания, которые в свою очередь смогут работать с любой сложной бизнес-логикой без внешней помощи.
Для корпоративных ИТ главная рекомендация Wikibon — получившие распространение и завоевавшие популярность облачные сервисы.
Можно воспользоваться недорогими предложениями, предоставляемых Amazon Web Services, Microsoft, Google, IBM и другими поставщиками общедоступных облачных технологий хранения данных. Продемонстрировали эффективность гибридные облака предприятий, которые в дальнейшем дают возможность без особых усилий обеспечить плавный переход к избранному компанией облаку в оптимальные сроки минимальным количеством операций.