TechCrunch · AI · 1 ч назад
Эксперты говорят, что использование Anthropic’s Fable — это не то, почему Кими К3 стал таким хорошим
«Я не думаю, что вы получите такую сильную модель и так быстро вслед за Fable, проводящим строгую дистилляцию», — сказал TechCrunch один эксперт.
Подробности
Научный советник Белого дома Майкл Крациос заявил, что Moonshot, китайская компания, стоящая за Kimi K3, крупнейшим доступным LLM открытого веса, построила свою модель, копируя Fable LLM от Anthropic, используя при этом чипы, которые не прошли очистку для экспорта в Китай.
«Крупномасштабная скрытая промышленная дистилляция, направленная на кражу запатентованных американских технологий и подрыв американских исследований, неприемлема», — написал Крациос на фоне сообщений о дискуссиях о запрете китайских моделей открытого веса, которые взбудоражили сектор искусственного интеллекта. Moonshot не ответил на вопросы о своем тренировочном процессе, а Крациос не поделился подробностями об источниках своих обвинений.
Твит Крациоса перекликается с комментариями министра финансов Скотта Бессента о том, что «мы обнаруживаем водяные знаки наших больших языковых моделей США на многих китайских моделях, и что это неприемлемо». Неясно, из чего состоят эти водяные знаки, и Министерство финансов не ответило на запрос.
Однако эксперты скептически относятся к тому, что дистилляция — процесс запроса LLM для определения его внутренней работы и копирования его возможностей — отвечает за расширенные возможности, которые демонстрирует Kimi K3.
«Я не думаю, что вы получите такую сильную модель и так быстро, следуя за Fable, проводя строгую дистилляцию», — сказал TechCrunch Брэйден Хэнкок, исследователь из Института Лауд и соучредитель Snorkel AI. "Откровенно говоря, времени просто нет, верно? Fable стала общедоступной только с 1 июля. Вы не можете отобрать столько данных, обучить модель и опубликовать ее за две недели".