OpenAI рассказала, как хранилище ChatGPT выросло из библиотеки на Python
OpenAI описала, как её внутренняя система Habitat превратилась из библиотеки на Python в распределённое по миру хранилище. Оно обслуживает больше миллиарда пользователей ChatGPT и 22 млн запросов в секунду.
Хранилище, в котором ChatGPT держит данные своих пользователей, начиналось как обычная библиотека на Python. Теперь это платформа с узлами по всему миру: она обслуживает больше миллиарда человек и принимает 22 млн запросов в секунду. Эту историю OpenAI рассказала в инженерном блоге.
Система называется Habitat. Это внутренняя разработка компании, а не продукт для клиентов. Именно на неё ложится нагрузка, когда сотни миллионов людей одновременно открывают чаты и отправляют сообщения.
Статья открывает серию: в адресе публикации она помечена как первая часть. В ней инженеры OpenAI рассказывают, как быстро пришлось наращивать хранилище под взрывной рост аудитории ChatGPT.