歡迎來(lái)到合肥浪訊網(wǎng)絡(luò)科技有限公司官網(wǎng)
咨詢服務(wù)熱線：400-099-8848
咨詢服務(wù)熱線：400-099-8848
網(wǎng)站優(yōu)化和搜索引擎優(yōu)化的區(qū)別 |
| 發(fā)布時(shí)間：2015-05-06 文章來(lái)源： 瀏覽次數(shù)：3850 |
| 一、什么是搜索引擎爬蟲程序 網(wǎng)絡(luò)爬蟲(又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，更常常的稱為網(wǎng)頁(yè)追逐者)，是一種按照一定的規(guī)則，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動(dòng)索引，模擬程序或者蠕蟲。 這些處理被稱為網(wǎng)絡(luò)抓取或者蜘蛛爬行。良多站點(diǎn)，尤其是搜索引擎，都使用爬蟲提供最新的數(shù)據(jù)，它主要用于提供它訪問(wèn)過(guò)頁(yè)面的一個(gè)副本，然后，搜索引擎就可以對(duì)得到的頁(yè)面進(jìn)行索引，以提供快速的訪問(wèn)。蜘蛛也可以在web上用來(lái)自動(dòng)執(zhí)行一些任務(wù)，例如檢查鏈接，確認(rèn)html代碼;也可以用來(lái)抓取網(wǎng)頁(yè)上某種特定類型信息，例如抓取電子郵件地址(通常用于垃圾郵件)。 一個(gè)網(wǎng)絡(luò)蜘蛛就是一種機(jī)器人，或者軟件代辦代理。大體上，它從一組要訪問(wèn)的URL鏈接開始，可以稱這些URL為種子。爬蟲訪問(wèn)這些鏈接，它辨認(rèn)出這些頁(yè)面的所有超鏈接，然后添加到這個(gè)URL列表，可以稱作檢索前沿。這些URL按照一定的策略反復(fù)訪問(wèn)。 二、爬蟲程序的種類以及分辨 搜索引擎派出他們的爬蟲程序去訪問(wèn)、索引網(wǎng)站內(nèi)容，但是因?yàn)樗阉饕媾膳老x程序來(lái)訪會(huì)在一定程度上影響網(wǎng)站機(jī)能。在你的服務(wù)器日志文件中，可見(jiàn)每次訪問(wèn)的路徑和相應(yīng)的 IP 地址，假如是爬蟲程序來(lái)訪， 則user-agent 會(huì)顯示 Googlebot 或MSNBot 等搜索引擎爬蟲程序名稱，每個(gè)搜索引擎都有自己的user-agent。 三、海內(nèi)主要的爬蟲程序 百度 baidu.com—-Baiduspider http://www.baidu.com/search/spider.htm 谷歌 google.com—-Googlebot http://www.google.com/bot.html 雅虎 yahoo.com—-Yahoo http://misc.yahoo.com.cn/help.html 有道 yodao.com—-YodaoBot http://www.yodao.com/help/webmaster/spider/ 搜搜 soso.com—-Sosospider/Sosoimagespider http://help.soso.com/webspider.htm http://help.soso.com/soso-image-spider.htm 搜狗 sogou.com—-sogou http://www.sogou.com/docs/help/webmasters.htm 微軟 msn.com—-msnbot http://search.msn.com/msnbot.htm |
|
