На прошлой неделе AWS приобрела DuckLabs — команду, стоящую за открытой OLAP-системой DuckDB. Поскольку облачный гигант уже владеет хранилищем данных (Redshift) и не получает интеллектуальную собственность DuckDB (она остается открытой), зачем ему это понадобилось?
Энди Уорфилд, вице-президент и выдающийся инженер AWS, заявил, что это приобретение — ключевой элемент стратегии AWS в отношении будущего построения приложений, данных и аналитики.
«Половина ценности DuckDB заключается в том, что она выступает своего рода соединительной тканью между существующими инструментами обработки данных», — сказал он The Register.
Написанная на C++ DuckDB встраивается в хост-процесс. Не требуется устанавливать, обновлять или поддерживать серверное ПО СУБД. Она работает в адресном пространстве хост-приложения, а запросы выполняются непосредственно внутри процесса. Благодаря этому разработчики могут встраивать аналитику в свои приложения, но Уорфилд отметил, что такая архитектура открывает разработчикам и инженерам данных новые способы подключения источников данных и вычислительных движков.
Например, DuckDB использует в SQL такие глаголы, как “attach” и “connect”, что позволяет ей работать практически с любым удаленным SQL-оконечным узлом. Уорфилд отметил, что DuckDB уже способна подключаться к Redshift или RDS, выдавать SQL-команды и выполнять междвижковые взаимодействия.
«Во многом мы можем рассматривать ее как SDK для данных, с помощью которого клиенты могут строить свои решения. Они могут выполнять локально большую часть своих мелких запросов, работающих с небольшими наборами данных, без необходимости разворачивать внешний движок. При этом, когда потребуется работать с более крупными наборами данных или понадобятся возможности централизованных запросов, они по-прежнему смогут использовать DuckDB для передачи этих запросов другим движкам», — пояснил он.
Эта концепция применима как к аналитическим и информационным системам других вендоров (например, Google BigQuery и Microsoft Fabric), так и к собственным продуктам AWS.
«Вы можете строить решения с Duck, и она предоставляет путь для перехода и отправки запросов в другие системы — как единый интерфейс для работы с данными», — сказал он.
AWS приобрела DuckLabs — компанию по поддержке и разработке, основанную разработчиками DuckDB Ханнесом Мюляйзеном и Марком Раасвелдтом, оба из которых являются сотрудниками амстердамского исследовательского центра математики и теоретических вычислений Centrum Wiskunde & Informatica. Сама база данных останется открытой под лицензией MIT.
Под руководством Мюляйзена и Раасвелдта Фонд DuckDB останется независимой некоммерческой организацией, определяющей стратегическое направление развития базы данных. Ожидается, что управление Фондом изменится, включив более широкий круг участников в результате приобретения DuckLabs компанией AWS.
Энди Павло, вице-президент по исследованиям ClickHouse Labs и профессор баз данных в Университете Карнеги-Меллона, заявил, что приобретение DuckLabs компанией AWS станет позитивным изменением для DuckDB. «Ханнес и Марк с самого начала шли своим путем. В 2020 году они отказались от венчурных денег и сосредоточились на создании системы баз данных, которая решает реальные проблемы людей. Я не вижу, чтобы они меняли долгосрочное направление открытого проекта».
Преимущество денег AWS заключается в финансировании воплощения новых идей в реальность. «Стоимость разработки СУБД значительно выросла за последние несколько лет. Речь не только о затратах на людей, работающих над ПО, но и об агентах, которые запускают тесты, пишут код, проверяют pull request’ы и выполняют другие задачи системного администрирования. Поскольку агенты пишут код быстрее людей, это означает увеличение затрат на инфраструктуру CI/CD. Amazon предоставит DuckDB ресурсы, чтобы не отставать от современных практик разработки СУБД и масштабировать свои усилия».
Но AWS — не единственная компания, делающая ставку на основополагающие принципы DuckDB. Бывший инженер Google BigQuery Джордан Тигани стал сооснователем MotherDuck, которая продает облачный сервис на основе этой базы данных и является постоянным участником проекта DuckDB. В 2023 году она поглотила 52 миллиона долларов венчурных инвестиций.
«Конечно, я нервничаю из-за приобретения. Любой, кто заинтересован в экосистеме DuckDB, будет нервничать, когда гиперскейлер приходит и покупает команду, стоящую за технологией», — сказал Тигани The Register.
Но он добавил, что будут и положительные результаты для тех, кому небезразлична DuckDB, поскольку ресурсы на ее разработку возрастут.
«Открытая DuckDB, скорее всего, будет развиваться быстрее. Да, для этого нужно верить, что Amazon не станет слишком вмешиваться и все ломать, но я очень доверяю Ханнесу и Марку».
Что касается технологий, созданных вокруг DuckDB, у MotherDuck есть четырехлетняя фора, сказал он. «Мы создали потрясающий продукт, который выходит за рамки просто облачного хостинга DuckDB. Мы накопили опыт работы с DuckDB в масштабе и как с критически важной инфраструктурой».
Если DuckDB останется верна своим принципам открытого исходного кода, другие смогут сделать то же самое. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lindsay Clark
