В своем предыдущем посте я рассмотрел некоторые возможные аргументы в обоих направлениях, но правда в том, что сейчас, учитывая, как мало трафика генерируют эти модели, они, вероятно, не окажут большого влияния в краткосрочной перспективе. Если вы посмотрите на файл robots.txt Moz на момент написания, вы увидите, что мы блокируем GPTBot в нашем учебном центре и блоге — это компромиссная позиция, но от нее мы не видим никакой пользы или вред на данный момент, и мы не ожидаем этого в краткосрочной перспективе. Я, конечно, не думаю, что сравнение с блокировкой Googlebot справедливо: LLM — это прежде всего инструмент генерации контента, а не инструмент перенаправления трафика. Google даже предположил, что даже на их обзоры ИИ не будет влиять Google-Extended, а вместо этого будет использоваться обычный Googlebot. Аналогичным образом, на момент написания статьи OpenAI только что объявила о своем прямом конкуренте Google — SearchGPT, а также подтвердила, что, как и Google, она будет сканировать с отдельным пользовательским агентом для других инструментов генеративного ИИ — в данном случае «Поисковой робот OAI».
Чего я не рассмотрел в этой статье, так это крупных издателей. Если вы крупный издатель и думаете, что у вас есть рычаги воздействия и вы сможете заключить сделку, возможно, вы захотите создать прецедент — эти инструменты не имеют права на свободный доступ. пока не они достигают официального соглашения. Например, Vox Media, материнская компания The Verge, публично заявила, что блокирует доступ, прежде чем в конечном итоге заключила сделку. Файл robots.txt на theverge.com по-прежнему явно блокирует большинство других ботов AI, но не GPTbot (уже).
Конечно, большинство сайтов и большинство читателей этого блога не являются крупными издателями. Для вас может быть гораздо более ценно быть упомянутым в контенте, написанном ИИ, чем пытаться защитить уникальную ценность вашего контента, особенно на переполненном рынке с конкурентами, у которых нет таких оговорок. Тем не менее, интересно посмотреть, какие прецеденты здесь созданы, и будет еще интереснее посмотреть, чем это закончится.
