Радник Білого дому з питань науки Майкл Кратсіос заявив, що китайська компанія Moonshot, розробник Kimi K3 – найбільшої доступної моделі зі відкритим кодом (open-weight LLM) – створила свою модель шляхом копіювання Fable LLM від Anthropic, використовуючи при цьому чіпи, експорт яких до Китаю заборонено.
«Масштабна, прихована промислова дистиляція, спрямована на викрадення власницької технології США та підрив американських досліджень, є неприйнятною», — написав Кратсіос на тлі повідомлень про обговорення заборони китайських моделей з відкритим кодом, що спричинило хвилювання в галузі ШІ. Moonshot не відповіла на запитання щодо свого процесу навчання, а Кратсіос не надав додаткових деталей щодо джерел своїх звинувачень.
Твіт Кратсіоса повторював коментарі міністра фінансів Скотта Бессента, який зазначив: «Ми знаходимо водяні знаки наших американських великих мовних моделей на багатьох китайських моделях, і це неприйнятно». Незрозуміло, з чого складаються ці водяні знаки, і Міністерство фінансів не надало відповіді на запит.
Проте експерти скептично ставляться до того, що саме дистиляція — процес запитування LLM для виявлення її внутрішньої роботи та копіювання її можливостей — відповідальна за передові можливості, які демонструє Kimi K3.
«Я не думаю, що можна отримати настільки потужну модель так швидко, як Fable, лише шляхом дистиляції», — сказав TechCrunch Брейден Хенкок, дослідник з Laude Institute та співзасновник Snorkel AI. «Просто відверто кажучи, немає навіть часу, так? Fable стала загальнодоступною лише 1 липня. Неможливо дистилювати стільки даних, навчити модель і випустити її за два тижні».
«Я дотримувався думки, що дистиляція стає все менш ефективною з часом, оскільки китайські моделі наближаються до переднього краю, а режим навчання зміщується до [навчання з підкріпленням]», — сказав Нейтан Ламберт, дослідник ШІ з Allen Institute for AI, у подкасті, випущеному вчора. «Якби це було так, кожен міг би легко наздогнати GLM або K3, використовуючи її дані для дистиляції. Але ми не бачимо цього, або не побачимо, лише шляхом керованого доналаштування».
Виконання дистиляції вимагає від лабораторії систематичного запитування цільової моделі для створення даних, які можуть бути використані для подальшого навчання. Іноді це прямо включає прохання до моделі викласти її ланцюжок думок, щоб зрозуміти, як вона вирішує проблеми. В інших випадках підказки та відповіді моделі використовуються для навчання нової моделі в процесі, який називається керованим доналаштуванням, або SFT.
Саме цей процес доналаштування може призвести до того, що модель, нібито створена третьою стороною, видаватиме себе за Claude. Доналаштування — це те, де, на думку Ламберта, «модель набуває своїх манер».
Але Ламберт каже, що переваги SFT стають менш важливими, оскільки моделі стають складнішими. Для дистиляції можливостей, подібних до Fable, ймовірно, знадобляться методи навчання з підкріпленням. У багатьох випадках це означає, що агент більшої моделі оцінює відповіді меншої моделі та коригує їх на основі оцінки.
Більш просунуті методи також вимагають значно більшої інфраструктури. Великі забіги навчання з підкріпленням можуть вимагати десятків мільйонів агентів. Використання API передової лабораторії для цього «було б неймовірно дорого і потенційно могло б стати часовим вузьким місцем, тому що ці моделі досить повільні, і, відверто кажучи, можуть навіть не дати вам приросту продуктивності».
Ймовірно, що попередні передові моделі могли зробити внесок у Kimi; Anthropic публічно звинуватив Moonshot, DeepSeek та MiniMax у систематичній дистиляції своїх моделей раніше цього року. Anthropic заявив, що виявив мільйони обмінів між своїми моделями та користувачами, яких вони ідентифікували в цих компаніях за IP-адресами та іншими метаданими. Ці запити були «відмінними від звичайних шаблонів використання, відображаючи свідоме вилучення можливостей, а не законне використання». Anthropic не відповів на запити TechCrunch щодо дистиляції Fable.
Однак дистиляція вважається поширеною серед компаній ШІ, не лише в Китаї. Ілон Маск свідчив раніше цього року, що його компанія SpaceXAI дистилювала моделі OpenAI для розробки Grok, і що ця практика була поширеною в галузі. Межа між дистиляцією та розробкою синтетичних наборів даних, наприклад, може бути досить розмитою.
«Загалом, американці недооцінюють технічну експертизу цих китайських команд», — сказав Хенкок. «Один із засновників Moonshot був аспірантом CMU. Це справжні дослідники та інженери, які виконують солідну роботу. …якщо американські моделі зупиняться, я думаю, прогрес Китаю сповільниться, але все одно триватиме. Вони не просто їдуть на чужому хвості».
Також важко відокремити дистиляцію від другої частини коментаря Кратсіоса — що Moonshot отримала передові чіпи Nvidia Grace Blackwell 300, а також отримала доступ до серверів з GB300 в Таїланді. Ці чіпи заборонені для експорту до Китаю, але існує чорний ринок, за словами Сема Бреcніка, наукового співробітника Центру безпеки та новітніх технологій Джорджтауна. У травні засновника Supermicro, американського виробника серверів, звинуватили у контрабанді передових чіпів до Китаю.
«Я прихильник законів «знай свого клієнта» для центрів обробки даних у всьому світі», — сказав Бреcнік. «Якщо ви дозволяєте компанії проводити масштабні тренувальні забіги на вашому сучасному обладнанні, має існувати механізм звітності щодо того, хто ця компанія і що вона робить».
Департамент торгівлі президента Джо Байдена запропонував федеральні правила «знай свого клієнта» для центрів обробки даних у 2024 році, але за Дональда Трампа подальшого прогресу, схоже, не було. Однак експортери, які відправляють передові чіпи за кордон, повинні гарантувати, що вони використовуються лише за призначенням.
Купуючи за посиланнями в наших статтях, ми можемо отримувати невелику комісію. Це не впливає на нашу редакційну незалежність.
Джерело новини: techcrunch.com