解決搜尋引擎蜘蛛導致主機資源滿載和網站掛掉的問題、.htaccess 擋壞蜘蛛
2017/09/05
萌芽站長
276 0
網站技術 , 伺服器
搜尋引擎的運作原理就是利用蜘蛛(一種自動掃描網站的機器人)掃描每個網站,以建立索引讓大家輕鬆搜到網站,不過目前大多數人只用 Google、Yahoo 等幾個知名搜尋引擎,但一些小型搜尋站的蜘蛛又會跑來掃描我們的網站,有些還非常暴力,就好像別人來 DDOS 你的網站一樣,導致主機資源滿載和網站掛掉!解決方式就是阻擋這些小蜘蛛、壞蜘蛛,如此一來就可以解決網站癱瘓的問題。圖文一開始先說明被蜘蛛搞到主機滿載的狀況,再來說明如何看是哪個蜘蛛來搞破壞!最後明白告知大家解決方式。
▲主機後台的「資源使用狀況」,這是三天內的資料,可以看出中間有段異常,這段時間網站是很難連入的。
▲同一個資料下方的其他項目數據,中間那段明顯異常,有些值都抵達限制了!
▲主機後台「訪客」部分,紅色底線標示的就是搜尋引擎蜘蛛。
▲基本上這邊非常推薦使用「.htaccess」阻擋壞蜘蛛,截圖為範例,原始碼如下:
SetEnvIfNoCase User-Agent ^壞蜘蛛名稱 bad_bot
<Files *>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Files>
「壞蜘蛛名稱」請填入壞蜘蛛的名稱,這邊可以至後台「訪客」查看,舉例:「Sogou」即搜狗的蜘蛛,整行意思是封鎖「壞蜘蛛名稱」開頭的蜘蛛,可以新增無限數量的壞蜘蛛。
有任何意見、錯誤都可以告知我,此為站長修復網站後的心得文章,歡迎參考!
贊助廣告 ‧ Sponsor advertisements
cwRsync (Rsync Client):將 Linux 伺服器檔案同步至 Windows 電腦
📆 2021-12-22
📁
軟體介紹, 軟體應用, 伺服器
JavaScript 抓參數可指定間隔時間不斷重新載入指定網址(OBS 瀏覽器自動重載解決方案)
📆 2019-08-22
📁
軟體應用, 多媒體, 網路應用, 網站技術, JavaScript, 串流錄製
Docker 自動重新啟動容器
📆 2021-12-09
📁
伺服器
SSH 公開金鑰認證:使用 Windows CMD 示範、不打密碼直接登入 Linux 伺服器!
📆 2021-09-22
📁
作業系統, 資訊安全, 伺服器, Windows, Linux
Node.js:jpg、jpeg、JPG、JPEG 通通不遺漏的進行壓縮(Gulp、mozjpeg 批次圖片壓縮 - 延伸篇)
📆 2019-09-30
📁
多媒體, 網站技術, JavaScript, Node.js, 靜圖處理, Gulp
CSS:變色圓框
📆 2013-01-01
📁
網站技術, CSS
Tilt.js:浮動方塊製作、視差懸停傾斜效果 jQuery 插件
📆 2019-01-28
📁
網站技術, HTML, JavaScript, jQuery
GitHub Desktop:複製專案、修改提交版本後上傳至自己的雲端倉庫
📆 2019-09-22
📁
軟體應用, 網路應用, 網站技術
留言區 / Comments
萌芽論壇