Словарь
infini-gram
Поисковый движок по огромным текстовым корпусам из Allen Institute for AI (Ai2) и Вашингтонского университета. За доли секунды он считает, сколько раз в корпусе из триллионов токенов встречается фраза любой длины, и находит документы, где она есть. Исследователи с его помощью проверяют, какие обороты модель могла взять из обучающих данных; движок также работает как n-граммная языковая модель без ограничения на длину n.