KAIST разработал технологию векторного поиска CONDA, сохраняющую точность ИИ при изменении данных
Коротко
KAIST сообщил, что команда под руководством профессора Ким Мин Су с факультета компьютерных наук разработала CONDA — технологию динамического векторного поиска, которая сохраняет стабильную точность поиска при постоянном добавлении и удалении данных. По словам команды, CONDA повысила точность поиска до 24,5% и скорость обработки данных до 1,90 раза по сравнению с существующей передовой технологией, и предназначена для поиска знаний, поиска новостей, рекомендаций товаров и генерации с дополненной выборкой.
Читать полностью 2 мин чтения
Корейский институт передовых технологий (KAIST) сообщил 5 октября, что исследовательская команда под руководством профессора Ким Мин Су с факультета компьютерных наук разработала CONDA — технологию динамического векторного поиска, которая сохраняет стабильную точность поиска в средах, где данные постоянно добавляются и удаляются, сообщили Yonhap и AI Times. [ 1 , 4 ]
Согласно сообщениям, CONDA — сокращение от Connectivity-Aware Dynamic Index — учитывает не только расстояние между точками данных, но и то, достаточно ли хорошо связаны пути поиска для достижения нужной информации. По данным изданий, метод сохраняет важные связи, чтобы конкретная информация не оказалась изолированной в поисковой сети при поступлении новых данных или удалении существующих. [ 1 , 2 , 3 , 4 ]
AI Times описало проблему, на которую нацелена технология, как “коллапс связности”: по мере того как документы, новости и информация о товарах многократно добавляются, редактируются и удаляются, связи, построенные между данными, постепенно рвутся, и ИИ не может достичь информации, которая всё ещё есть в базе данных. Издание сравнило ситуацию с навигационной системой, у которой пункт назначения остаётся на месте, а информация о дорогах вокруг него постоянно меняется. По сообщению издания, CONDA опирается на три метода: выбор путей поиска с учётом связности, расширение кандидатов на соединение для новых данных и эффективное ленивое удаление, при котором удалённые элементы сначала помечаются, а их связи постепенно очищаются во время последующих поисков или обновлений. [ 4 ]
Исследовательская команда заявила, что эксперименты показали: CONDA повысила точность поиска до 24,5% и скорость обработки данных до 1,90 раза по сравнению с существующей передовой технологией. В тесте со 100 млн единиц данных в течение шести часов, при одновременной работе поиска и обновления данных, команда заявила, что CONDA сохранила самое короткое время отклика и высокую точность среди сравниваемых технологий, что указывает на возможность её применения в крупномасштабных ИИ-сервисах. [ 1 , 4 ]
Команда ожидает, что технология будет использоваться в системах поиска знаний по внутренним корпоративным правилам и рабочим документам, а также в поиске свежих новостей, в поиске и рекомендации товаров и в качестве базовой технологии для генерации с дополненной выборкой (RAG), при которой генеративный ИИ ищет внешнюю информацию для использования в своих ответах. Ким сказал, что ключевая ценность RAG в том, что “большие языковые модели могут немедленно находить и использовать последнюю информацию, на которой они не обучались”, и что исследование значимо тем, что представляет инфраструктуру данных, позволяющую ИИ использовать точные, актуальные знания в течение длительного времени. [ 1 , 4 ]
AI Times сообщил, что команда также планирует продвигать применение технологии в сервисах, и назвал президента KAIST Пэ Чун Сика. Chosun Ilbo опубликовало краткое резюме объявления на корейском и японском языках, выпущенное одновременно, повторяя утверждение, что технология сохраняет точность поиска при добавлении и удалении данных, но не приводя дальнейших цифр или комментариев. [ 2 , 3 , 4 ]
Почему это важно
Технология нацелена на известную слабость генерации с дополненной выборкой, при которой ответы ИИ зависят от того, найдёт ли поиск актуальную информацию, на которой модель не обучалась. Если заявленная производительность подтвердится, это будет важно для корпоративных систем знаний, новостного и торгового поиска и других ИИ-сервисов, где данные постоянно меняются, хотя в документах нет независимой проверки и сроков более широкого внедрения.
Ключевые факты
- KAIST объявил 5 октября, что исследовательская команда под руководством профессора Ким Мин Су с факультета компьютерных наук разработала технологию динамического векторного поиска CONDA. [ 1 , 2 , 3 , 4 ]
- CONDA учитывает не только расстояние между точками данных, но и то, достаточно ли хорошо связаны пути поиска для достижения нужной информации, чтобы при добавлении или удалении данных информация не оказывалась изолированной в поисковой сети. [ 1 , 2 , 3 , 4 ]
- Исследовательская команда заявила, что CONDA повысила точность поиска до 24,5% и скорость обработки данных до 1,90 раза по сравнению с существующей передовой технологией. [ 1 , 4 ]
- Команда провела шестичасовой тест со 100 млн единиц данных, в ходе которого поиск и обновление данных выполнялись одновременно, и заявила, что CONDA сохранила самое короткое время отклика и высокую точность среди сравниваемых технологий. [ 1 , 4 ]
- Команда ожидает, что технология будет использоваться в системах поиска знаний по внутренним корпоративным правилам и рабочим документам, в поиске свежих новостей, в поиске и рекомендации товаров, а также в качестве базовой технологии для генерации с дополненной выборкой (RAG). [ 1 , 4 ]
- AI Times сообщил, что CONDA была разработана как графовая технология векторного поиска, опирающаяся на три метода: выбор путей поиска с учётом связности, расширение кандидатов на соединение для новых данных и эффективное ленивое удаление. [ 4 ]
Подтверждено несколькими источниками
- KAIST объявил 5 октября, что команда профессора Ким Мин Су с факультета компьютерных наук разработала технологию динамического векторного поиска CONDA. [ 1 , 2 , 3 , 4 ]
- CONDA учитывает как расстояние между данными, так и то, правильно ли соединены пути поиска, чтобы можно было достичь нужной информации, предотвращая изоляцию информации при добавлении или удалении данных. [ 1 , 2 , 3 , 4 ]
- Исследовательская команда заявила, что CONDA повысила точность поиска до 24,5% и скорость обработки данных до 1,90 раза по сравнению с существующей передовой технологией. [ 1 , 4 ]
- Команда заявила, что в тесте со 100 млн единиц данных в течение шести часов, при одновременной работе поиска и обновления данных, CONDA поддерживала самое короткое время отклика и высокую точность поиска по сравнению с другими технологиями. [ 1 , 4 ]
- Команда ожидает, что технология будет использоваться в системах поиска знаний, в поиске свежих новостей, в поиске и рекомендации товаров, а также в качестве базовой технологии для генерации с дополненной выборкой (RAG). [ 1 , 4 ]
Пока неясно
- Применяется ли CONDA в коммерческих сервисах и по какому графику AI Times сообщил, что команда планирует приступить к применению технологии в сервисах, но ни один другой документ не упоминает планы или сроки внедрения, поэтому это опирается на единственное издание.
- С какими технологиями сравнивалась CONDA В документах упоминаются лишь “существующая передовая технология” и “сравниваемые технологии” без их названий.
- Прошли ли заявленные показатели производительности рецензирование или независимую проверку Все цифры взяты из объявления исследовательской команды в том виде, как его передали издания; в документах не описывается внешняя проверка.
Что пишут местные СМИ
Хронология, местное время
- Yonhap публикует свой материал об объявлении KAIST, цитируя профессора Ким Мин Су и показатели производительности. [ 1 ]
- Chosun Ilbo публикует резюме того же объявления на корейском и японском языках. [ 2 , 3 ]
- AI Times публикует подробную статью о CONDA, описывая три её основных метода и план применения в сервисах. [ 4 ]