图片 3

从零开始开发一个App(1)- Scrapy爬虫

Posted by

接上文,我们已经成功地在本地跑起了一个rails服务端,并且正确返回了JSON的接口数据,可以说万事俱备只欠客户端了。

前言

最近我体验了一次全栈开发App的经历,获益良多,我想把过程记录一下,一是回顾与巩固,二是抛砖引玉,如有谬误以求大神指点。

首先,我们需要明确我们最终的目标是什么。比如现在我要做一个简单的游戏评测资讯的App。那么我首先需要然后需要一个提供数据接口的,我将先完成这二者,然后才开始App的开发。

因此我将分为三步[Python爬虫]->[Ruby服务端]->[iOS客户端]来完成这个App。

而爬虫技术,将作为先遣部队,为我们攻下第一个数据堡垒。

终于来到了主战场,对我来说这是最繁琐但也是最简单的一步 🙂

开始

许多语言都有成熟的爬虫框架,我选择的是使用Python语言的Scrapy框架,这是一个非常完善而且功能强大的爬虫框架,我们只需要用到最基础的功能。Scrapy拥有非常棒的中文文档
安装和入门教程文档一应俱全,我就不赘述了。

安装好之后,我们打开终端,开始创建令人激动的爬虫

scrapy startproject yxReviewcd yxReview scrapy genspider yx_review www.ali213.net/news/pingce

完成后结构大致如图

图片 1k

就这样,基础的框架和代码已经被生成了,接着我们用编辑器打开yxReview目录,首先在items.py文件下新建一个item。我们可以先打开网页游侠评测分析一下

图片 2游侠评测

简单起见,我们目前只抓取4个属性,创建代码:

class ArticleItem(scrapy.Item): title = scrapy.Field() cover_image = scrapy.Field() summary = scrapy.Field() score = scrapy.Field()

然后我们进入目录下的spiders文件夹,打开yx_review.py如下编辑

# -*- coding: utf-8 -*-import scrapyfrom yxReview.items import ArticleItemclass YxReviewSpider(scrapy.Spider): name = "yx_review" allowed_domains = ["www.ali213.net"] start_urls = ( 'http://www.ali213.net/news/pingce/', ) def parse(self, response): items = [] for sel in response.xpath('//div[@]'): item = ArticleItem() item["cover_image"] = sel.xpath("div[@class='one_l_pic']/a/img/@src").extract() item["title"] = sel.xpath("div[@class='one_l_con']/div[@class='one_l_con_tit']/a/text.extract() item["summary"] = sel.xpath("div[@class='one_l_con']/div[@class='one_l_con_con']/text.extract() items.append index = 0 for scoreSel in response.xpath('//div[@class = "t3_l_one_r"]'): item = items[index] item["score"] = scoreSel.xpath("div/span/text.extract() index = index + 1 yield item print items

这里主要是parse方法,返回请求到的HTML然后解析出我们需要的数据装进ArticleItem里,然后将items传输到pipeline中。

工程搭建

二话不说,老规矩祭出Xcode,新建工程,新建Podfile

platform :ios, '7.0'pod 'Masonry'pod 'BFKit'pod 'ReactiveCocoa'pod 'AFNetworking'pod 'YYModel'pod 'YYWebImage'

然后安装pod install

传输管道

在爬虫scrapy中,pipeline是一个重要的概念,它相当于一个“加工器”,可以连接多个自定义的pipeline,完成数据的后续处理工作,比如进行筛选分类,或者持久化到本地等等,按优先级串连。

在本例中,为了简便,我将创建一个管道将数据简单处理并保存到本地文件中。

打开pipelines.py,编辑如下

# -*- coding: utf-8 -*-from scrapy import signalsfrom scrapy.contrib.exporter import JsonItemExporterclass YxreviewPipeline: @classmethod def from_crawler(cls, crawler): pipeline = cls() crawler.signals.connect(pipeline.spider_opened, signals.spider_opened) crawler.signals.connect(pipeline.spider_closed, signals.spider_closed) return pipeline def spider_opened(self, spider): self.file = open('items.json', 'wb') self.exporter = JsonItemExporter(self.file) self.exporter.start_exporting() def spider_closed(self, spider): self.exporter.finish_exporting() self.file.close() def process_item(self, item, spider): self.checkData(item, "title") self.checkData(item, "summary") self.checkData(item, "cover_image") self.checkData(item, "score") self.exporter.export_item return item def checkData(self ,item, field): if len(item[field]) > 0: newText = item[field][0].encode item[field] = newText.strip() else: item[field] = ""

前面三个方法,相当于给当前的pipeline提供了一个JsonItemExporter的插件,用于将所有爬取的item导出为JSON格式的文件之中。

另外需要说明的是,这里自定义了一个checkData方法,作为一个简单的数据类型验证,以及将之前解析的内容转换成字符串并且进行了utf-8编码的转码,保障中文内容的正确显示。

完成后,打开工程目录下的items.json文件,可以看到数据已经以JSON格式保存了下来。

图片 3items.json

相关文章

Leave a Reply

电子邮件地址不会被公开。 必填项已用*标注