Scrapy教程--某網站前N篇文章抓取

來源：懂視網責編：小采時間：2020-11-27 14:14:16

Scrapy教程--某網站前N篇文章抓取

Scrapy教程--某網站前N篇文章抓取:一、前3000名人員列表頁 2）分析頁面結構：每一個td都是，一個人員。第一個small為排名第二個a標簽是昵稱和用戶名，以及首頁的博客地址。用戶名通過地址截取獲取第四個small標簽是，博客數量以及積分，通過字符串分離后可以逐個獲取到。 3）代碼：使用x

推薦度：

點擊下載本文 文檔為doc格式

導讀Scrapy教程--某網站前N篇文章抓取:一、前3000名人員列表頁 2）分析頁面結構：每一個td都是，一個人員。第一個small為排名第二個a標簽是昵稱和用戶名，以及首頁的博客地址。用戶名通過地址截取獲取第四個small標簽是，博客數量以及積分，通過字符串分離后可以逐個獲取到。 3）代碼：使用x

一、前3000名人員列表頁

　　2）分析頁面結構：每一個td都是，一個人員。

　　　　　　第一個small為排名

　　　　　　第二個a標簽是昵稱和用戶名，以及首頁的博客地址。用戶名通過地址截取獲取

　　　　　　第四個small標簽是，博客數量以及積分，通過字符串分離后可以逐個獲取到。

　　3）代碼：使用xpath獲取標簽及相關的內容，獲取到首頁博客地址后，發送請求。

def parse(self, response):
for i in response.xpath("//table[@width='90%']//td"):
item = CnblogsItem()
item['top'] = i.xpath(
"./small[1]/text()").extract()[0].split('.')[-2].strip()
item['nickName'] = i.xpath("./a[1]//text()").extract()[0].strip()
item['userName'] = i.xpath(
"./a[1]/@href").extract()[0].split('/')[-2].strip()
totalAndScore = i.xpath(
"./small[2]//text()").extract()[0].lstrip('(').rstrip(')').split(',')
item['score'] = totalAndScore[2].strip()
# print(top)
# print(nickName)
# print(userName)
# print(total)
# print(score)
# return
yield scrapy.Request(i.xpath("./a[1]/@href").extract()[0], meta={'page': 1, 'item': item},
callback=self.parse_page)

二、各人員博客列表頁

　　1）頁面結構：通過分析，每篇博客的a標簽id中都包含“TitleUrl”，這樣就可以獲取到每篇博客的地址了。每頁面地址，加上default.html?page=2，page跟著變動就可以了。

　　2）代碼：置頂的文字會去除掉。

def parse_page(self, response):
# print(response.meta['nickName'])
#//a[contains(@id,'TitleUrl')]
urlArr = response.url.split('default.aspx?')
if len(urlArr) > 1:
baseUrl = urlArr[-2]
else:
baseUrl = response.url
list = response.xpath("//a[contains(@id,'TitleUrl')]")
for i in list:
item = CnblogsItem()
item['top'] = int(response.meta['item']['top'])
item['nickName'] = response.meta['item']['nickName']
item['userName'] = response.meta['item']['userName']
item['score'] = int(response.meta['item']['score'])
item['pageLink'] = response.url
item['title'] = i.xpath(
"./text()").extract()[0].replace(u'[置頂]', '').replace('[Top]', '').strip()
item['articleLink'] = i.xpath("./@href").extract()[0]
yield scrapy.Request(i.xpath("./@href").extract()[0], meta={'item': item}, callback=self.parse_content)
if len(list) > 0:
response.meta['page'] += 1
yield scrapy.Request(baseUrl + 'default.aspx?page=' + str(response.meta['page']), meta={'page': response.meta['page'], 'item': response.meta['item']}, callback=self.parse_page)

　　3）對于每篇博客的內容，這里沒有抓取。也很簡單，分析頁面。繼續發送請求，找到id為cnblogs_post_body的div就可以了。

def parse_content(self, response):
 content = response.xpath("//div[@id='cnblogs_post_body']").extract()
 item = response.meta['item']if len(content) == 0:
 item['content'] = u'該文章已加密'else:
 item['content'] = content[0]yield item

三、數據存儲MongoDB

　　這一部分沒什么難的。記著安裝pymongo，pip install pymongo。總共有80+萬篇文章。

from cnblogs.items import CnblogsItemimport pymongoclass CnblogsPipeline(object):def __init__(self):
 client = pymongo.MongoClient(host='127.0.0.1', port=27017)
 dbName = client['cnblogs']
 self.table = dbName['articles']
 self.table.createdef process_item(self, item, spider):if isinstance(item, CnblogsItem):
 self.table.insert(dict(item))return item

四、代理及Model類

　　scrapy中的代理，很簡單，自定義一個下載中間件，指定一下代理ip和端口就可以了。

def process_request(self, request, spider):
 request.meta['proxy'] = 'http://117.143.109.173:80'

　　Model類，存放的是對應的字段。

class CnblogsItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()# 排名top = scrapy.Field()
 nickName = scrapy.Field()
 userName = scrapy.Field()# 積分score = scrapy.Field()# 所在頁碼地址pageLink = scrapy.Field()# 文章標題title = scrapy.Field()# 文章鏈接articleLink = scrapy.Field()

　　　　# 文章內容
　　　　content = scrapy.Field()

五、wordcloud詞云分析

　　對每個人的文章進行詞云分析，存儲為圖片。wordcloud的使用用，可參考園內文章。

　　這里用了多線程，一個線程用來生成分詞好的txt文本，一個線程用來生成詞云圖片。生成詞云大概，1秒一個。

# coding=utf-8import sysimport jiebafrom wordcloud import WordCloudimport pymongoimport threadingfrom Queue import Queueimport datetimeimport os
reload(sys)
sys.setdefaultencoding('utf-8')class MyThread(threading.Thread):def __init__(self, func, args):
 threading.Thread.__init__(self)
 self.func = func
 self.args = argsdef run(self):
 apply(self.func, self.args)# 獲取內容 線程def getTitle(queue, table):for j in range(1, 3001):# start = datetime.datetime.now()list = table.find({'top': j}, {'title': 1, 'top': 1, 'nickName': 1})if list.count() == 0:continuetxt = ''for i in list:
 txt += str(i['title']) + '
'name = i['nickName']
 top = i['top']
 txt = ' '.join(jieba.cut(txt))
 queue.put((txt, name, top), 1)# print((datetime.datetime.now() - start).seconds)def getImg(queue, word):for i in range(1, 3001):# start = datetime.datetime.now()get = queue.get(1)
 word.generate(get[0])
 name = get[1].replace('<', '').replace('>', '').replace('/', '').replace('\', '').replace('|', '').replace(':', '').replace('"', '').replace('*', '').replace('?', '')
 word.to_file('wordcloudimgs/' + str(get[2]) + '-' + str(name).decode('utf-8') + '.jpg')print(str(get[1]).decode('utf-8') + '	生成成功')# print((datetime.datetime.now() - start).seconds)def main():
 client = pymongo.MongoClient(host='127.0.0.1', port=27017)
 dbName = client['cnblogs']
 table = dbName['articles']
 wc = WordCloud(
 font_path='msyh.ttc', background_color='#ccc', width=600, height=600)if not os.path.exists('wordcloudimgs'):
 os.mkdir('wordcloudimgs')
 threads = []
 queue = Queue()
 titleThread = MyThread(getTitle, (queue, table))
 imgThread = MyThread(getImg, (queue, wc))
 threads.append(imgThread)
 threads.append(titleThread)for t in threads:
 t.start()for t in threads:
 t.join()if __name__ == "__main__":
 main()