不想被OPENAI白嫖：紐約時報網站封殺GPT爬蟲禁止其抓取網站內容 – 藍點網
我要評論8 月 7 日 OPENAI 公布自己的不想被OI白報網互聯網爬蟲 GPTBot，該爬蟲是嫖紐爬蟲 OPENAI 用來在全網抓爬內容然后訓練 AI 模型用的。盡管多數網站允許 GPTBot 抓爬內容，站封站內不過也有些網站并不想給 OPENAI 白嫖，禁止所以在 robots.txt 文件里屏蔽了 GPTBot。其抓取網
比如知名新聞媒體《紐約時報》就在網站上封禁 GPTBot，容藍禁止該爬蟲訪問紐約時報網站的點網任何內容，包括首頁信息摘要等。不想被OI白報網
互聯網檔案館的嫖紐爬蟲存檔顯示，紐約時報大約是站封站內在 8 月 17 日修改 robots.txt 文件屏蔽 GPTBot 的，而在稍早的禁止時候紐約時報則修改了服務條款，明確禁止任何公司抓取其內容用來訓練人工智能模型，其抓取網所以之后修改 robots.txt 協議禁止 GPTBot 也倒是容藍可以理解。
紐約時報與 OPENAI 矛盾還是點網挺深的，上個月紐約時報就表示正在考慮對 OPENAI 提起法律訴訟，不想被OI白報網因為 OPENAI 侵犯了紐約時報的版權。還有兩名作者也在 7 月起訴了 OPENAI，因為 OPENAI 拿他們的作品訓練 GPT 模型。
對于修改 robots.txt 阻止 OPENAI 抓爬這事兒，紐約時報拒絕置評，OPENAI 則沒有回復置評請求。
最后：如果你也想控制 GPTBot 的抓爬，可以在你網站的 robots.txt 文件中加入指令，例如完全禁止 GPTBot 或允許 GPTBot 抓取一部分內容。
具體操作方法請看：如何禁止OPENAI的爬蟲(GPTBot)抓爬網站 附該爬蟲的IP地址網段
相關文章
二之國2幽靈國度是款畫面比較卡通的RPG游戲，這款游戲采用了不同形式的圖形光源相結合，給玩家們帶來了不錯的視覺享受，游戲將在3月下旬發(fā)售，喜歡的話可以多多關注一下。萬代南夢宮今天為Level-5工作室2025-12-10
暴雪總裁對他們的游戲非常下傲：《守看前鋒2》《暗烏粉碎神4》等
遠日，正在接管IGN采訪時，暴雪總裁Mike Ybarra回瞅了他們遠一年的寬峻年夜公布戰(zhàn)暴雪正在Xbox旗下的將去逝世少。Ybarra正在講到游戲收止數量時表示：“我念講，我對疇昔幾年我們收止的游戲2025-12-10
大年夜疆DJI帶屏遠控器公布：8千米圖傳 極度氣候穩(wěn)定運轉
大年夜疆正在CES2019正式推出DJI帶屏遠控器，散成5.5英寸1080p下明隱現屏，最下明度達1000cd/㎡，約為淺顯挪動設備兩倍，專為戶中航拍設念，正在陽光直射下仍渾楚可睹。2025-12-10
【家電資訊-家電新聞 - 行業(yè)新聞，作者：編輯】 “美團怎么了?”最近一個月，券商分析師劉浩(化名)與持有美團倉位的機構投資者見2025-12-10
《暗黑血統(tǒng)3》發(fā)售日期曝光 或在今年8月上線
暗黑血統(tǒng)3是系列第三部游戲作品，最近關于游戲上線消息曝光，電商發(fā)售表顯示游戲將在今年8月上線，復仇騎士將會展開什么樣的故事呢，大家拭目以待吧。電腦和主機游戲零售商EB Games可能泄露了《暗黑血統(tǒng)32025-12-10
三星沒有測飽漏Galaxy S10屏幕設念：左上角開孔周齊屏
三星比去頒收了一篇文章，解釋了正在One UI上的一些操縱體例戰(zhàn)題目，但Reddit論壇用戶收明此中一張圖片的足機有挨孔自拍相機。三星已正在那篇文章中改換了新的圖片，但是之前的圖片2025-12-10