Ars Technica · Разработка · 3 ч назад
Как Anthropic измерил «теоретические возможности» ИИ на рынке труда?
В исследовании 2023 года было сделано множество предположений о будущем «ожидаемом программном обеспечении на базе LLM».
Подробности
будущее такое светлое… Как Anthropic измерил «теоретические возможности» ИИ на рынке труда? В исследовании 2023 года было сделано множество предположений о будущем «ожидаемом программном обеспечении на базе LLM».
Хотя текущая область «наблюдаемого воздействия» интересна сама по себе, бросается в глаза синяя «теоретическая возможность». На первый взгляд, график показывает, что системы на основе LLM могут выполнять по меньшей мере 80 процентов отдельных «рабочих задач» в поразительно широком диапазоне человеческих профессий, по крайней мере теоретически. Похоже, что Anthropic предсказывает, что LLM в конечном итоге смогут выполнять подавляющее большинство работ в широких категориях — от «Искусство и медиа» и «Офис и администрирование» до «Юриспруденция, бизнес и финансы» и даже «Менеджмент».
Однако изучение основы этих цифр «теоретических возможностей» дает гораздо менее пугающую картину будущего влияния ИИ на профессию. Когда вы углубитесь в детали, это синее поле представляет собой некоторые устаревшие и сильно спекулятивные предположения о том, где ИИ может повысить производительность труда человека, а не обязательно, где он вообще возьмет верх над людьми.
Базовый уровень «теоретических возможностей» LLM, который приводит здесь Anthropic, не основан на собственных эмпирических испытаниях текущих моделей компании или поддающихся количественной оценке прогнозах повышения производительности с течением времени. Вместо этого Anthropic цитирует отчет от августа 2023 года под названием «GPT — это GPT: ранний взгляд на потенциал воздействия больших языковых моделей на рынок труда», соавторами которого являются исследователи из OpenAI, OpenResearch и Пенсильванского университета.
Исследователи начинают с подробных отчетов о рабочей деятельности O*NET, в которых отдельные задачи, связанные со многими заданиями, разбиваются на чрезвычайно детальном уровне. Затем они используют сочетание человеческих аннотаций и маркировки с помощью GPT-4, чтобы оценить, сможет ли «самая мощная модель большого языка OpenAI» на тот момент сократить время, необходимое для этой отдельной задачи, по крайней мере, на 50 процентов «с эквивалентным качеством». Если нет, они также оценивали, может ли доступ к «ожидаемому программному обеспечению на основе LLM» обеспечить аналогичную экономию времени в будущем.