Stability AI, Hugging Face и Canva поддерживают новое некоммерческое исследование искусственного интеллекта

Разработка передовых систем искусственного интеллекта, таких как ChatGPT, требует огромных технических ресурсов, отчасти потому, что они дороги в разработке и эксплуатации. Хотя многие усилия с открытым исходным кодом пытались реконструировать частные системы с закрытым исходным кодом, созданные коммерческими лабораториями, такими как DeepMind и OpenAI от Alphabet, они часто натыкались на препятствия — в основном из-за нехватки капитала и ноу-хау.

Надеясь избежать этой участи, исследовательская группа сообщества, ЭлеутерАИэто формирование некоммерческий фонд. Сегодня организация объявила о создании некоммерческого исследовательского института EleutherAI Institute, финансируемого за счет пожертвований и грантов сторонников, в том числе стартапов в области искусственного интеллекта Hugging Face и Stability AI, бывшего генерального директора GitHub Нэта Фридмана, Lambda Labs и Canva.

«Формализация ее как организации позволяет нам создать штат сотрудников и участвовать в более длительных и сложных проектах, чем это было бы возможно в качестве группы добровольцев», — Стелла Бидерман, исследователь ИИ в Booz Allen Hamilton, которая будет со-руководителем проекта. Институт ЭлеутерАй. — сказал он TechCrunch в интервью по электронной почте. «Что касается конкретно некоммерческой организации, я думаю, что это оправдание, учитывая наше внимание к исследованиям и пространству с открытым исходным кодом».

EleutherAI зародился несколько лет назад как группа разработчиков, работающих над исследованиями искусственного интеллекта с открытым исходным кодом. Его основатели — Коннор Лихи, Лео Гао и Сид Блэк — написали код и собрали данные, необходимые для создания модели машинного обучения, близкой к генерации текста GPT-3 OpenAI, которая в то время была в прессе.

Компания разработала и открыла исходный код The ​​Pile, коллекции наборов данных, предназначенных для использования для обучения моделей, подобных GPT-3, для завершения текста, написания кода и многого другого. И он выпустил несколько моделей под лицензией Apache 2.0, в том числе GPT-J и GPT-NeoX, языковые модели, которые какое-то время это подпитывало новую волну стартапов.

Для обучения своих моделей EleutherAI в основном полагается на TPU Research Cloud, программу Google Cloud, которая поддерживает проекты с расчетом на то, что результаты будут опубликованы. CoreWeave, майнер криптовалюты из США, который предоставляет облачные сервисы для рабочих нагрузок ИИ, также предоставил вычислительные ресурсы EleutherAI в обмен на модели, которые могут использовать и обслуживать его клиенты.

EleutherAI быстро растет. Сегодня более 20 постоянных участников сообщества работают полный рабочий день, уделяя основное внимание исследованиям. А за последние 18 месяцев члены EleutherAI стали соавторами 28 научных статей, обучили десятки моделей и выпустили десять баз кода.

Но непостоянство поставщиков облачных услуг иногда заставляло EleutherAI отказываться от своих планов. Изначально группа планировала выпустить модель, близкую по размеру к ГПТ-3 по количеству параметров, но в итоге отказалась от этого пути по техническим и финансовым причинам. (В ИИ параметры — это части модели, извлеченные из исторических обучающих данных, и, по сути, определяют способность модели решать проблему, например генерацию текста.)

В конце 2022 года EleutherAI хорошо познакомился со Stability AI, теперь уже хорошо финансируемым стартапом, стоящим за системой искусственного интеллекта для генерации изображений Stable Diffusion. Вместе с другими сотрудниками он помог создать первоначальную версию Stable Diffusion. И с тех пор Stability AI пожертвовала часть вычислительных ресурсов своего кластера AWS для текущих исследований языковой модели EleutherAI.

После этого другой крупный работодатель — Hugging Face — обратился к EleutherAI, и начались некоммерческие переговоры, говорит Бидерман. (Несколько человек из EleutherAI участвовали в инициативе компании BigScience, которая стремилась обучить и открыть исходный код модели, подобной GPT-3, в течение года).

«EleutherAI в прошлом в значительной степени сосредоточился на больших языковых моделях, которые архитектурно похожи на ChatGPT, и, вероятно, продолжит это делать», — сказал Бидерман. «Помимо обучения отличным языковым моделям, мы рады выделить больше ресурсов на этику, интерпретируемость и работу по согласованию».

Можно задаться вопросом, может ли участие коммерческих компаний, таких как Stability AI и Hugging Face, которые поддерживаются значительным венчурным капиталом, повлиять на исследования EleutherAI. Это естественное предположение, и оно также подтверждается доказательствами. Хотя бы один учиться показывает прямую корреляцию между пожертвованиями и вероятностью того, что некоммерческие организации будут говорить о предлагаемом правительственном правиле.

Бидерман утверждает, что фонд EleutherAI останется независимым, и говорит, что пока не видит проблем с пулом доноров.

«Мы не разрабатываем модели по заказу коммерческих организаций, — сказал Бидерман. «Во всяком случае, я думаю, что другое спонсорство улучшило бы нашу независимость. Если бы нас полностью финансировала технологическая компания, это выглядело бы как гораздо более серьезная потенциальная проблема с нашей стороны».

Еще одна проблема, которую предстоит решить Фонду EleutherAI, — убедиться, что его казна не иссякнет. OpenAI — это поучительная история; после того, как в 2015 году компания была основана как некоммерческая организация, позже она перешла на структуру с «ограниченной прибылью» для финансирования своих текущих исследований.

В целом, некоммерческие инициативы по финансированию исследований ИИ были неоднозначными.

Среди историй успеха — Институт искусственного интеллекта Аллена (AI2), основанный покойным соучредителем Microsoft Полом Алленом, целью которого является достижение научных прорывов в области искусственного интеллекта и машинного обучения. Существует также Институт Алана Тьюринга, базирующийся в Великобритании, финансируемый государством национальный институт науки о данных и машинного обучения. Наиболее многообещающие усилия включают стартап Cohere в области искусственного интеллекта Cohere For AI (несмотря на его корпоративные связи) и распределенное исследование искусственного интеллекта Timnit Gebru, глобальную распределенную исследовательскую организацию.

Но на каждый AI2 приходится фонд бывшего президента Google Эрика Шмидта для исследований в области искусственного интеллекта. Размер более 125 миллионов долларов, он вызвал новый спор после того, как политик сообщил что Шмидт имеет необычайно сильное влияние на Управление Белого дома по научно-технической политике.

Время покажет, в каком направлении в конечном итоге выберет EleutherAI Foundation. Скорее всего, миссия будет развиваться и меняться со временем — положительно, нам остается только надеяться.