Python语言的网络爬虫技术研究与应用.pdf
Python语言是一种跨平台通用动态解释型的编程语言,具有简单方便上手、兼容性强、可在所有操作系统上运行等特点.本文研究Python语言中的网络爬虫技术,运用该语言中的Requests、Beautifulsoup等库和队列循环技术,可以编写网页爬取程序,实现对指定网站的全部网页源码爬取、解析网页的信息是否更新以及将网页结果储存到本地磁盘.网页爬取采用的框架是基于python的requests库,运用requests库的get方法请求http响应,然后运用Beautifulsoup库和Xpath库实现文件的解析.方法简单实用.
作者：李陶深 杨时禹
作者单位：南宁学院,南宁,530200广西大学计算机与电子信息学院,南宁,530004
母体文献：第29届全国计算机新科技与教育学术会议论文集
会议名称：第29届全国计算机新科技与教育学术会议
会议时间：2019年10月1日
会议地点：河南开封
主办单位：全国高等学校计算机教育研究会
语种：chi
分类号：G3TP3
关键词：网络爬虫 数据库 队列循环 Python语言
在线出版日期：2022年3月9日
基金项目：
相似文献
相关博文
- 文件大小:
- 2.87 MB
- 下载次数:
- 60
-
高速下载
|
|
