OpenAI добавит невидимое текстовое водяное знако в ChatGPT и Codex в ЕС
Коротко
OpenAI заявила, что добавит невидимое водяное знако, называемое textGrain, к тексту, генерируемому ChatGPT и Codex, в Европейском союзе, с развёртыванием в течение ближайших недель для подходящих пользователей на всех планах. Клиенты API по всему миру могут включить его для отдельных моделей начиная с сегодняшнего дня, по умолчанию он отключён, а доступ к детектору первоначально получат одобренные исследователи и экспертные организации. OpenAI заявила, что этот шаг направлен на соблюдение правил прозрачности Закона ЕС об ИИ; Anthropic объявила о аналогичной системе ранее.
Читать полностью 2 мин чтения
OpenAI заявила, что добавит невидимое машиночитаемое водяное знако к тексту, генерируемому ChatGPT и Codex, в Европейском союзе — шаг, который компания описала как соблюдение правил прозрачности Закона ЕС об ИИ. Компания заявила, что водяное знако будет развёрнуто в течение ближайших недель для подходящих пользователей ChatGPT и Codex на всех планах, но только в ЕС, и что она не делает текстовое водяное знако глобальным по умолчанию при запуске. [ 1 , 2 , 3 ]
Водяное знако, называемое textGrain, работает путём тонкой настройки выбора слов моделью, чтобы оставить закономерность, которую читатели не видят, но детектор может уловить, согласно сообщениям. OpenAI заявила, что клиенты API в любой точке мира могут включить водяные знаки в выводах для отдельных моделей начиная с сегодняшнего дня, при этом функция по умолчанию отключена. Доступ к детектору первоначально будет предоставляться одобренным исследователям и экспертным организациям в индивидуальном порядке; OpenAI заявила, что инструмент сообщает, обнаружил ли он водяное знако OpenAI, не идентифицируя пользователя и не раскрывая подсказки или разговоры. [ 1 , 2 , 3 , 4 ]
OpenAI опубликовала технический отчёт вместе с объявлением, написанный совместно с исследователями из Пенсильванского университета и Йеля, сообщил TechCrunch. OpenAI заявила, что не увидела значимых изменений в производительности модели при включённом водяном знаке, и что, поскольку сигнал находится в самих словах, он переносится с текстом при копировании и вставке. [ 2 , 3 ]
OpenAI также обозначила ограничения. Согласно TechCrunch, один тест показал, что замена 10 процентов слов синонимами снизила обнаружение примерно с 92 процентов до 66 процентов; Engadget сообщил о примерно 80-процентной успешности для более короткого текста. OpenAI заявила, что короткие отрывки, математика и переведённый текст труднее обнаружить, и что водяное знако «не гарантирует надёжного обнаружения», а также не подтверждает точность, не устанавливает право собственности, не измеряет человеческий вклад и не доказывает человеческое авторство. [ 1 , 2 , 3 ]
Правила, лежащие в основе изменения, — это требования прозрачности Закона ЕС об ИИ, которые, по словам Engadget, вступили в силу 2 августа. Статья 50 требует, чтобы поставщики генеративных систем ИИ делали текстовые выводы идентифицируемыми машиночитаемым способом; новые участники уже охвачены, тогда как существующие поставщики, такие как OpenAI, Anthropic, Microsoft, Google и Meta, должны соответствовать к 2 декабря. Anthropic ранее объявила о аналогичном шаге по текстовым водяным знакам, также ссылаясь на правила ЕС, и заявила тогда, что другие крупные поставщики также внедряют системы маркировки. [ 1 , 2 , 4 ]
Почему это важно
Правила прозрачности Закона ЕС об ИИ теперь вынуждают крупных поставщиков ИИ маркировать машинно-генерируемый текст, и развёртывание OpenAI делает textGrain альтернативой подходам Anthropic и Google DeepMind. Поскольку доступ к детектору на первых порах ограничен, а сама OpenAI говорит, что обнаружение не является надёжным, практический эффект для читателей и учреждений за пределами ЕС, вероятно, будет постепенным.
Ключевые факты
- OpenAI заявила, что добавит невидимое текстовое водяное знако к выводам ChatGPT и Codex для подходящих пользователей в Европейском союзе в течение ближайших недель, на всех планах. [ 1 , 3 ]
- Клиенты API по всему миру могут включить водяные знаки в выводах для отдельных моделей начиная с сегодняшнего дня; функция по умолчанию отключена. [ 1 , 3 , 4 ]
- OpenAI заявила, что не делает текстовое водяное знако глобальным по умолчанию при запуске. [ 1 , 3 ]
- Система называется textGrain и работает путём тонкой настройки выбора слов моделью, чтобы детектор мог выявить закономерность. [ 2 , 3 ]
- Доступ к детектору первоначально будет ограничен одобренными исследователями и экспертными организациями; детектор не идентифицирует пользователей и не раскрывает подсказки или разговоры. [ 1 , 2 , 3 ]
- OpenAI заявила, что короткие отрывки, математические ответы и переведённый текст труднее обнаружить, и что её водяное знако «не гарантирует надёжного обнаружения». [ 1 , 2 , 3 ]
- Правила прозрачности Закона ЕС об ИИ вступили в силу 2 августа, при этом существующие поставщики должны были соответствовать к 2 декабря. [ 2 ]
Подтверждено несколькими источниками
- OpenAI объявила, что будет наносить водяные знаки на текстовые выводы ChatGPT и Codex в ЕС для соблюдения Закона ЕС об ИИ. [ 1 , 2 , 3 , 4 ]
- Система водяных знаков OpenAI называется textGrain и работает путём тонкой настройки выбора слов, чтобы оставить машиночитаемую закономерность. [ 2 , 3 ]
- Клиенты API по всему миру могут включить водяные знаки для отдельных моделей, при этом функция по умолчанию отключена. [ 1 , 3 , 4 ]
- Доступ к детектору первоначально ограничен одобренными исследователями и экспертными организациями и не идентифицирует пользователей и не раскрывает подсказки. [ 1 , 2 , 3 ]
- Anthropic ранее объявила о сопоставимом шаге по текстовым водяным знакам в связи с Законом ЕС об ИИ. [ 1 , 2 , 4 ]
- OpenAI заявила, что водяное знако не подтверждает точность, право собственности или человеческое авторство и не гарантирует надёжного обнаружения. [ 1 , 2 , 3 ]
Пока неясно
- Какие модели клиенты API смогут снабжать водяными знаками. Engadget сообщил, что OpenAI не уточнила, какие модели будут доступны широкой глобальной публике.
- Будет ли водяное знако в конечном итоге применяться за пределами ЕС. OpenAI заявила, что это не глобальный по умолчанию вариант «при запуске», и описала развёртывание в ЕС как региональный подход для обучения на реальном использовании, оставив долгосрочные масштабы неопределёнными.
- Насколько надёжным будет обнаружение в повседневном использовании. OpenAI опубликовала оценки по бенчмаркам и пример, где замена 10 процентов слов синонимами снизила обнаружение примерно с 92 процентов до 66 процентов, но заявила, что производительность в идеальных условиях не гарантирует надёжного обнаружения.
- Связь между textGrain от OpenAI и SynthID для текста от Google DeepMind. Одно издание заявило, что textGrain соответствовал или превосходил другие подходы, такие как SynthID, который оно описало как основу для водяных знаков Anthropic; другие издания не делали такой связи.
Что пишут местные СМИ
Хронология, местное время
- The Verge сообщает, что OpenAI развёртывает своё водяное знако textGrain для ChatGPT и Codex в ЕС и открывает возможность включения водяных знаков для клиентов API. [ 1 ]
- Engadget сообщает, что OpenAI добавит цифровое водяное знако к тексту и коду, генерируемым в ЕС, для соблюдения новых правил прозрачности. [ 2 ]
- TechCrunch сообщает, что OpenAI начнёт наносить водяные знаки на текст ChatGPT в ЕС, ссылаясь на пост компании в блоге. [ 3 ]
- 9to5Mac сообщает, что OpenAI подробно описала свою систему водяных знаков для ChatGPT, Codex и API, включая открытие приложений-детекторов для одобренных исследователей. [ 4 ]