AI 搜尋看不到你的 IG：六大社群平台爬蟲政策實測

你把品牌的心血都放在 IG 和 Threads 上。

那當有人問 ChatGPT「台灣有哪些做社群經營的品牌」，它讀得到你嗎？

我們在 2026 年 8 月直接去抓了六大平台的 robots.txt，答案比想像中分歧——而且其中一個平台的做法跟大家的直覺完全相反。

先講清楚：這件事有兩層，很多人混在一起講

聊到「內容會不會被 AI 看到」，網路上的討論常常把兩件不同的事講成一件：

第一層是「爬蟲能不能抓」。網站根目錄有個叫 robots.txt 的純文字檔，用來告訴各家爬蟲哪些路徑可以抓、哪些不行。這是平台方單方面宣告的規則，任何人都能打開來看。

第二層是「抓到之後會不會真的被用」。爬蟲抓得到，不代表那份內容一定被收進索引、更不代表 AI 回答時一定會引用它。

本文只處理第一層，因為那是唯一可以被公開查證的部分。第二層牽涉各家的內部排序邏輯，沒有任何第一方資料可以佐證——所以本文不會給你「社群內容被引用率 X%」這種數字，市面上流傳的那類數字我們一個都查不到出處。

第一層雖然是門檻，但它是硬門檻：robots.txt 明文封鎖的話，遵守規則的爬蟲根本不會來抓，後面兩層都不用談了。

實測結果：六大平台對 AI 爬蟲的態度（2026 年 8 月）

要自己複驗很簡單：瀏覽器打開 https://www.instagram.com/robots.txt 就看得到全文，不需要任何工具。

Instagram 與 Threads：把搜尋引擎和 AI 爬蟲分開對待

這兩個平台的 robots.txt 分組一模一樣，顯然是同一套政策。裡面總共有 33 個爬蟲區塊，可以清楚切成兩堆。

被寫明 Disallow: /（全站封鎖）的 15 支：

Amazonbot、Applebot-Extended、Brightbot、ClaudeBot、Google-Extended、
GPTBot、PerplexityBot、PetalBot、Scrapy、uptimerobot、viberbot、
YaK、Yandex、Yeti，以及萬用的 *

只擋特定路徑（也就是主要內容開放）的 18 支：

Applebot、Bingbot、Discordbot、DuckDuckBot、facebookexternalhit、
Googlebot、Googlebot-Image、Googlebot-Video、Googlebot-News、
Google-InspectionTool、LinkedInBot、msnbot、Pinterestbot、
seznambot、Slurp、teoma、TelegramBot、Twitterbot

看出這兩堆的差別了嗎？第二堆全是傳統搜尋引擎與社群預覽機器人，第一堆則清一色是訓練 AI 模型或供 AI 搜尋使用的爬蟲。

特別值得注意的是 Apple 出現在兩邊：Applebot（Apple 的一般搜尋爬蟲）部分開放，Applebot-Extended（Apple 用於 AI 訓練的那支）全站封鎖。Google 也一樣：Googlebot 開放，Google-Extended（Google 用於 Gemini 等生成式產品的那支）封鎖。同一家公司、兩支爬蟲、兩種待遇——這不可能是設定失誤，是刻意區分。

Instagram 給 Googlebot 的那份清單長這樣：

Disallow: /*/c/
Disallow: /*/comments/
Disallow: /*/liked_by/
Disallow: /accounts/login/*?next=
Disallow: /ajax/
Disallow: /client_error/
Disallow: /direct/
Disallow: /logging/
Disallow: /publicapi/
Disallow: /qp/batch_fetch_web/
Disallow: /query/
Allow: /places/c/

擋掉的是留言、按讚名單、私訊、內部 API——個人檔案頁與貼文頁不在封鎖名單內。

這裡要精準一點：robots.txt 允許抓取，不等於那些頁面一定會被 Google 索引或給你好排名。允許抓只是第一道門，後面還有索引與排序兩關。本文沒有索引率的資料，所以不會替你下那個結論。

但反過來的推論是成立的、而且很硬：被寫明 Disallow: / 的爬蟲，連第一道門都過不了。

Facebook 是反過來的（本文最反直覺的一點）

如果你以為 Meta 旗下三個平台會用同一套政策，Facebook 會讓你意外。

• User-agent: * → Disallow: /（一般爬蟲全站封鎖）
• GPTBot、PerplexityBot、ClaudeBot、Google-Extended → 各自拿到同一份清單，只擋 /*/plugins/*、/ajax/、/login*、/share*、/photos.php、/meta-ai-answers/ 等特定路徑，甚至明確寫著 Allow: /careers/、Allow: /safetycheck/

也就是說，在 Facebook 上，具名 AI 爬蟲拿到的權限比匿名爬蟲還大。

我們不打算替 Meta 解釋為什麼 Instagram／Threads 全封、Facebook 卻放行——Meta 沒有公開說明理由，任何動機推測都是臆測。這裡只陳述可查證的事實：這三個平台的政策方向不同，別把它們當成同一件事處理。

TikTok 與 YouTube：沒有專門規則

這兩個平台的 robots.txt 裡完全沒有 GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot、ClaudeBot、Google-Extended 的專屬區塊。

robots.txt 的規則是：沒有專屬區塊，就吃 User-agent: * 那份。而這兩家的 * 規則都相對寬鬆：

• TikTok 明確 Allow 了 /foryou、/discover、/tag、/music、/share 等路徑，擋的主要是站內搜尋（/search?）、購物頁與嵌入端點
• YouTube 擋的是 /api/、/results（搜尋結果）、/login、/comment 這類功能性路徑，/watch 影片頁不在封鎖清單內

換句話說，這兩個平台目前沒有針對 AI 爬蟲做差別待遇。

「AI 爬蟲」不是同一件事：三支爬蟲、三種用途

這是最容易被誤解的一段。很多人會說「我把 IG 連結貼給 ChatGPT，它明明讀得出內容啊」——這跟上面的結論並不矛盾，因為 OpenAI 有三支不同的爬蟲。

依 OpenAI 官方爬蟲說明文件（2026 年 8 月讀取）：

關鍵在第三支。ChatGPT-User 被 OpenAI 歸類為「使用者發起的行為」，文件明說 robots.txt 規則可能不適用。

所以那個看似矛盾的經驗其實完全合理：

• 你自己把 IG 連結貼給 ChatGPT → ChatGPT-User 去讀 → 讀得到
• 別人問 ChatGPT 一個沒有指定連結的問題，它去搜尋索引裡找 → 那個索引是 OAI-SearchBot 建的 → 而 OAI-SearchBot 在 Instagram 沒有專屬區塊、吃 * 的 Disallow: / → 你的內容不在裡面

第一種情境需要有人已經知道你、而且願意手動貼你的連結。第二種才是「被發現」。你想要的是第二種，而第二種在 IG 與 Threads 上目前是關著的。

這對社群經營者代表什麼

先說不代表什麼：這不代表社群沒用。IG 與 Threads 的演算法分發、互動、轉換都還在，該經營一樣要經營——我們整站一百多篇教學講的就是這件事，這篇文章不推翻任何一篇。

它代表的是一件更具體的事：你在社群平台上累積的內容，在「有人問 AI、AI 去找答案」這條路徑上，目前是缺席的。

如果你的品牌只存在於 IG 和 Threads，那麼在 AI 搜尋這一層，你等於沒有可被引用的資產。而使用者的提問習慣正在往那個方向移動——這點我們在部落客結案 KPI 壓力與流量策略那篇已經談過對流量結構的影響。

比較實際的做法是別把雞蛋放在同一個籃子：社群負責觸及與互動，自有內容（官網、部落格）負責被搜尋到、被引用。兩者處理的是不同階段的問題。

至於自有內容那一側要怎麼寫，才真的容易被 AI 引用——段落怎麼切、答案要不要前置、品牌名該擺在哪一句——那是另一個專業領域了。我們的姊妹品牌 AI SEO Hacker（與粉絲大獅同一團隊經營）專門在做這塊，他們拆解過可被 AI 逐字引用的寫法。社群平台這一層我們能給的資訊到此為止，剩下那一半是他們的守備範圍。

你現在可以做的三件事

一、自己驗一次，別只信本文。 打開瀏覽器輸入 平台網址/robots.txt，用 Ctrl+F 搜 GPTBot。有 Disallow: / 就是全站封鎖。這些政策隨時會改，本文標的是 2026 年 8 月的狀態。

二、重要內容不要只有社群版本。 產品說明、服務流程、專業觀點、常見問題——這些你希望別人（和 AI）能查到的東西，至少要在自己能控制的地方有一份。社群貼文可以是入口，但不該是唯一的存放處。

三、確認你的自有內容真的讀得到。 很多人設定了 robots.txt 卻沒實測過。用 curl 帶不同的 User-Agent 打自己的頁面，比對回應：

# 用 GPTBot 的身分抓自己的頁面
curl -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
     -o /dev/null -w "%{http_code} %{size_download}\n" https://你的網址/

# 對照組：一般瀏覽器
curl -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 Chrome/131.0.0.0 Safari/537.36" \
     -o /dev/null -w "%{http_code} %{size_download}\n" https://你的網址/

兩行的狀態碼與回應大小應該一致。如果 AI 爬蟲拿到 403、429 或明顯較小的回應，代表你的主機或 CDN 在 robots.txt 之外另外擋了它——robots.txt 寫得再開放也沒用。

（我們對本站跑過同一組測試：GPTBot、OAI-SearchBot 與一般瀏覽器都拿到 HTTP 200、回應大小完全相同的 245,339 bytes。）

常見問題

我的 IG 貼文在 Google 搜得到，是不是代表 ChatGPT 也讀得到？

不是。這是兩套獨立的規則。Instagram 對 Googlebot 開放主要內容路徑，但對 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 全部寫明 Disallow: /。連 Google 自己的兩支爬蟲都被分開對待：Googlebot 放行、供生成式產品使用的 Google-Extended 封鎖。

為什麼我把 IG 連結貼給 ChatGPT，它就讀得出內容？

因為那時候動作的是 ChatGPT-User，OpenAI 官方文件把它歸類為使用者發起的即時抓取，說明 robots.txt 規則可能不適用。它跟建立搜尋索引的 OAI-SearchBot 是兩支不同的爬蟲。你手動貼連結讀得到，不代表別人問問題時 AI 找得到你。

Facebook 對 AI 爬蟲比較寬鬆，那我是不是該多經營 FB？

這篇文章不建議你根據爬蟲政策決定經營哪個平台。平台選擇該看的是你的受眾在哪、內容形式適不適合、轉換路徑順不順，這些權重都遠高於 robots.txt。相關判斷可以參考主流社群平台選擇指南。而且平台政策隨時會改，用它當長期策略的地基並不穩。

這些政策多久會變？我要怎麼追蹤？

沒有固定週期，平台可以隨時修改而且不會發公告。最可靠的方式就是自己定期打開 robots.txt 看，這件事三十秒就能做完。本文所有敘述標的都是 2026 年 8 月的實測狀態。

我的 Threads 內容也一樣被擋嗎？

是。Threads 的 robots.txt 封鎖名單與 Instagram 完全一致，同樣是 15 支全站封鎖、18 支部分開放。想了解 Threads 經營本身，可以看Threads 行銷入門。

結語

這篇文章的結論不是「社群沒用」，而是「社群和自有內容在解決不同的問題，別互相取代」。

社群平台幫你觸及人、累積互動、產生轉換，這些價值一點都沒有變。但在「有人問 AI，AI 去找答案」這條愈來愈常見的路徑上，Instagram 與 Threads 目前把門關著，而那道門不是你能決定開不開的。

你能決定的，是自己那一側的門有沒有開。