Китайский стартап, в сфере видео с AI, блокирует политически чувствительные изображения

Китайский стартап Sand AI выпустил открыто лицензированную модель ИИ для генерации видео, которая получила похвалу от предпринимателей, таких как основатель и директор Microsoft Research Asia Кай-Фу Ли. Но Sand AI, похоже, подвергает цензуре размещенную версию своей модели, чтобы блокировать изображения, которые могут вызвать гнев китайских регуляторов из размещенной версии модели, согласно тестированию TechCrunch.

Ранее на этой неделе Sand AI анонсировала Magi-1, модель, которая генерирует видео, «авторегрессивно» предсказывая последовательности кадров. Компания утверждает, что модель может генерировать высококачественные, контролируемые кадры, которые фиксируют физику точнее, чем конкурирующие открытые модели.

Magi-1 слишком непрактичен для запуска на большинстве потребительских аппаратных средств. Он имеет размер 24 миллиарда параметров и требует от четырех до восьми графических процессоров Nvidia H100 для запуска. (Параметры — это внутренние переменные, которые модели используют для прогнозирования.) Для многих пользователей, включая этого репортера, платформа Sand AI — единственное место, где они могут протестировать Magi-1.

Платформе нужно «подсказочное» изображение для запуска генерации видео, но не все подсказки допустимы, как быстро обнаружил TechCrunch. Sand AI блокирует загрузку изображений Си Цзиньпина, площади Тяньаньмэнь и Танкмена, тайваньского флага и знаков в поддержку освобождения Гонконга. Фильтрация, по-видимому, происходит на уровне изображений — переименование файлов изображений не обошло блокировку.

Sand AI — не единственный китайский стартап, который блокирует загрузку политически чувствительных изображений в свой инструмент для генерации видео. Hailuo AI, генеративная медиаплатформа MiniMax из Шанхая, также блокирует фотографии Си Цзиньпина. Но фильтрация Sand AI, похоже, особенно агрессивна; Hailuo разрешает изображения площади Тяньаньмэнь.

Как объяснил Wired в статье за январь, модели в Китае обязаны следовать строгим информационным контролям. Закон 2023 года запрещает моделям создавать контент, который «наносит ущерб единству страны и социальной гармонии» — что может быть истолковано как контент, противоречащий историческим и политическим нарративам правительства. Чтобы соответствовать требованиям, китайские стартапы часто подвергают свои модели цензуре, используя фильтры на уровне подсказок или настраивая их более тонко.

Интересно, что хотя китайские модели, как правило, блокируют политическую речь, у них часто меньше фильтров для порнографического контента, чем у их американских коллег. Недавно 404 сообщил, что у ряда видеогенераторов, выпущенных китайскими компаниями, отсутствуют элементарные защитные ограждения, которые не позволяют людям создавать несогласованные обнаженные изображения других людей.