在 OPENAI 公布 GPTBot 爬蟲的谷歌管理谷歌相關信息后，今天谷歌宣布在 GoogleBot 基礎上推出 Google-Extended 爬蟲擴展代理，推出允許網站管理員使用 robots.txt 文件屏蔽谷歌抓取網站內容用來訓練 AI 模型。爬蟲屏蔽

谷歌沒有推出單獨的擴展 AI 爬蟲，AI 爬蟲仍然使用 GoogleBot，代理但網站可以聲明是網站網否拒絕其抓取內容后訓練 AI，如果要聲明那就需要使用 Google-Extende代理令牌。員可用于

谷歌稱，內容Google-Extended 是訓練一種新控件，網絡發布商可以使用它管理其網站是藍點否有助于改進 Bard 和 Vertex AI 等生成式 AI 模型，在博客中谷歌多次提到網站可以幫助谷歌改進 AI，谷歌管理谷歌比如網站管理員可以選擇是推出否幫助這些 AI 模型隨著時間推移變得更準確和強大。

不過最終還是爬蟲屏蔽網站管理員自己決定是否允許谷歌拿內容去訓練 AI，如果不愿意的擴展話，可以在 robots.txt 中添加以下內容：

User-Agent: Google-ExtendedDisallow：/

需要提醒的代理是谷歌對于 robots.txt 的處理遵循了多種原則，而且 Google Bot 本身有一大堆用于不同用途的 bot，例如常規的 GoogleBot、GoogleBot-News、GoogleBot-Image 等，這些 bot 是可以在 robots.txt 里混用的。

例如要允許谷歌搜索抓取網站內容、不允許谷歌抓取內容用于訓練 AI，那么 robots.txt 可以這么寫：

User-Agent: GooglebotAllow: /User-Agent: Google-ExtendedDisallow: /

• ·《荒野大鏢客2》首個實機視頻放出 支持4K和簡體中文
• ·扎導公理聯盟三部直推出新4K超下渾版：10月3日出售
• ·微硬與CMA的戰講變動后 歐盟考慮重新檢查該支購案
• ·劉德華獲多倫多電影節特別進獻獎 將攜新片《白毯師少西席》表態
• ·《孤島驚魂5》延期一個月 育碧多款游戲推遲發售
• ·海信激光電視市場占有率同比增長408.2%
• ·大屏高端電視受青睞 彩電巨頭紛紛出海
• ·新劇情新武將《九州劫》足游新賽季暴光
• ·
• ·《魔女保護者》做者筱本健太：漫繪結束后將停止周刊連載
• ·國止《舞力齊開》獨占歌直《兔子舞》 本日插足訂閱辦事
• ·傳世寶劍 古物煥新《大年夜話西游足游》齊新國風殊效時拆越王劍表態
• ·Steam5月第四周銷量 絕地求生重回榜首
• ·繼賈躍亭退位后，樂視VR團隊解散
• ·64倍傷害的兔兔您睹過出？！FFBE超強力兵員艾斯德我上線
• ·Rogue類彈幕射擊MMORPG《村希豪杰傳》Steam頁里上線 支撐簡中