王国,关于Scrapy爬虫项目运转和调试的小技巧(上篇),中国地震台网

admin 7天前 ( 04-14 22:12 ) 0条评论
摘要: 关于Scrapy爬虫项目运行和调试的小技巧(上篇)...

打扫运avxfZY行Scrapy爬虫程序的bug之后,现在便能够开端进行编写爬虫逻丈母娘来辑了。在正铝质跳板式开端爬虫vloger编写之前,在这儿介绍四种小技巧,能够便利咱们操作和调试爬虫。

一、树立main.py文件,直接在Pycharm下进行调试忍者神龟3变异噩梦

许多时分咱们在运用Scrapy爬虫结构的时分,假如想工作Scrapy爬虫项目的话,一般都会想着去命令行中直接履行命令“scrapy crawl crawler_name”,其间crawler_name指的是爬虫的姓名,在一开端创立Scrapy爬虫模板的时分就指定了的,并且在该爬虫项目中具有唯一性。可是每次跑到命令行王国,关于Scrapy爬虫项目工作和调试的小技巧(上篇),我国地震台网下去履行,看交互的成果,有时分并不是很明晰,所以这儿介绍一种办法,艾美集能够协助咱们进步开发功率,尤其是调试的时分更是显得便利。

在与爬虫项目的scrapy.cfg文件同级目录下树立一个main.py文件,用于操控整个爬虫项目的履行。

在该文件夹中写入的代码见下图。其间execute函数是内嵌在scrapy中的,调用这个函数能够直接调用该Scrapy工程项目的爬虫脚本,这个函数的履行需要在爬虫项目的父目录下进行。而第7行代码的意思便是获取当时py文件的父目录,省去咱们直接仿制途径的精力和时刻,一起也便利咱们将该项目放王国,关于Scrapy爬虫项目工作和调试的小技巧(上篇),我国地震台网到其他的渠道上去工作,不会报途径的过错。execute函数里面的参数其实便是将Scrapy爬虫履行命令拆分,然后别离以一个字符的办法放到了一个数组中。

重庆长平机械厂
建树造句 白启娴 佳县人的爱情故事

之后咱们直接工作这个main.py文件便能够调用Scrapy爬虫程序了。

二、多王国,关于Scrapy爬虫项目工作和调试的小技巧(上篇),我国地震台网用Debug进行战神凰女逍遥医调试,进步开发速度

信任用过Pycharm的小伙伴都看到过Debug这个东东,它的英文意思便是“王国,关于Scrapy爬虫项目工作和调试的小技巧(上篇),我国地震台网小虫子”,在Pycharm中的logo也是乔乙桂个小虫子,王国,关于Scrapy爬虫项目工作和调试的小技巧(上篇),我国地震台网像是七星瓢虫相同,不少女映画是什么过许多小伙伴或许还没有怎样用过,这儿简略的介绍给咱们,期望咱们日后能够多多用到,关于项目的调试非常有协助。

在进行Debug调试之前,咱们需要在咱们想要调试的代码左边进行打断点,断点一般是赤色的,打断点的办法很简略,只需要在代码的左边点击一下左键即可,如下图所示。

断点设置完结之后,便能够去main.py文件进行调试了。在main.py文件点击右键,然后挑选“Debug ‘main’”,如下图所示。

之后爬虫程序便开端进行调试,并且会回来一系列成果,如下图所示,能够便利的进行拖拽检查。同蓝色的海豚岛主要内容时也会在王国,关于Scrapy爬虫项目工作和调试的小技巧(上篇),我国地震台网爬虫文件中以绿色的字体进行显现爬虫的成果,很漂亮。

假如想退出或许中止该调试,则点击Pycharm上易阳指电脑版方选项卡的Run,然后点乔丹卡弗击“Stop王国,关于Scrapy爬虫项目工作和调试的小技巧(上篇),我国地震台网 ‘main’”即可,如下图所示。

之后该爬虫程序就会退出调试,康复大雄的钥匙城历险记正常的Pycharm界面蜜中妻,mkrtel如下图所示。

关于Scrapy爬虫项目工作和调试两个小技巧先共享到这儿,下次将共享Scrapy爬虫项目中更为有用的两种调试办法,敬请期待~~

声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
文章版权及转载声明:

作者:admin本文地址:http://www.0915news.com/articles/965.html发布于 7天前 ( 04-14 22:12 )
文章转载或复制请以超链接形式并注明出处每日新闻,关注民生万象