数据提取_1

1. xpath 查找

1.1 xpath介绍：

1.lxml是python的一个解析库，支持HTML和XML，支持XPath解析方式，而且解析效率非常高。

2.XPath，全称XML Path Language ,即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。

3.全称为XML Path Language 一种小型的查询语言

4.说到XPth这门语言，不得不说它所具备的优点：

1.可在XML中查找信息

2.支持HTML的查找

3.通过元素和属性进行导航

1.2 xpath常用规则

1 .nodename——>选取此节点的所有子节点

2. /——>从当前节点选取直接子节点

3. //——>从当前节点选取子孙节点

4. . ——>选取当前节点

5. … ——>选取当前节点的父节点

6. @ ——>选取属性

xpath 操作：

#导入lxml模块fromlxmlimportetreewithopen('XpathDemo.html','r',encoding='utf8')asf:#html可以接收 byte 和字符串连接#etree.HTML()可以用来解析字符串格式的HTML文档对象html=etree.HTML(f.read())# / 从根节点选取节点·print(html.xpath("/html/head"))# // 从当前节点选取子孙节点print(html.xpath("//div"))print(html.xpath("/html/body//p"))#xpath 匹配结果为列表ul=html.xpath("//ul[0]")# xpath 跟谁调用无关 只跟表达式有关print(ul.xpath("ul//head"))# . 选取当前节点print(ul.xpath("./li"))# .. 选取当前节点的父节点print(print(ul.xpath("../p")))# [index] 根据下标选取节点print(ul.xpath("./li[3]/p/span/text()"))# index值 可以为函数 last()结果 表示最后一个print(ul.xpath("./li[last()]/p/span/text()"))print(ul.xpath("./li[last()-1]/p/span/text()"))

2. jsonpath使用

fromjsonpathimportjsonpathimportjsonwithopen("area.json","r",encoding="utf8")asf:data=json.load(f)print(data,type(data))# $ 根元素# . 子元素# 获取根元素下content结点的第一个元素content=jsonpath(data,"$.content")print(content)#获取所有id节点值print(jsonpath(content,"$..id"))#[] 子元素print(jsonpath(content,"$.data[0]"))print(jsonpath(content,"$.data[:2]"))print(jsonpath(content,"$.data[:-1]"))print(jsonpath(content,"$.data[(@.length-1)]"))print(jsonpath(content,"$.data[?(@.code)]"))# * 通配符 表示所有元素# 获取data节点下第一个元素的所有节点值print(jsonpath(content,"$.data[0].*"))

案例：从17k网站提取数据

importrequestsfromjsonpathimportjsonpath headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36"}#登陆网址login_url="https://passport.17k.com/ck/user/login"#书架网址books_url="https://user.17k.com/ck/author2/shelf?page=1&appKey=2406394919"form_data={'loginName':'17590967558','password':'@z310425'}#创建会话session=requests.session()login_response=session.post(login_url,headers=headers,data=form_data)print(login_response.status_code)print(login_response.cookies)#获取书架信息books_response=session.get(books_url,headers=headers)#获取所有书名和作者名# print(books_response.json())print(jsonpath(books_response.json(),"$..))print(jsonpath(books_response.json(),"$..authorPenName"))

3. 正则查找

• re 是匹配字符串内容的一种规则
• 1.re.compile 正则表达式的语法
• 2.re.search 找一个
• 3.re.match从头找一个 没有返回None
• 4.re.findall 找所有 返回列表
• . ——> 匹配任意字符，除了换行符，re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符
• *——>匹配0个或多个的表达式
• +——>匹配1个或多个的表达式
• ？——>匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
• []——>表示一组字符
• ‘|’——>A|B,创建一个正则，将匹配A或B。
• \s——>匹配任何空白字符
• \d——>匹配任何数字

4.csv

4.1 介绍

• csv 文件是大数据文件存储格式的文件 结构与excel不同。
• csv 是一种通用的，相对简单的文件格式，被用户，商业和科学广泛应用。最广泛的应用是在程序之间转移表格数据，而这些程序本身是在不兼容的格式上进行操作的。
• 因为大量程序都支持某种csv变本，至少是作为一种可选择的输入\输出格式。
• 例如，一个用户可能需要交换信息，从一个以私有格式存储数据的数据库程序，到一个数据格式完全不同的电子表格。最可能的情况是，该数据库程序可以导出数据为"csv",然后被导出的csv文件可以被电子表格程序导入。

案例：

列表——》list

csv文件_写入数据

importcsv#定义表头headers=["book_name","author_name","book_type"]#列表数据book_rows_li=[['网游：开局防御加满，化身移动要塞','谒始','游戏竞技'],['全球废土：我以机械比肩神明','岐峰','科幻末世'],['民间诡梦实录','王诡一','都市小说'],['奶包三岁半，我是全豪门的团宠','惊颜','现代言情'],['万恶的考试和资本','白日不栽柳','浪漫青春']]withopen("ccc/books1.csv","w",encoding="utf8",newline="")aswf:#创建一个写入对象csv_writer=csv.writer(wf)#写入表头csv_writer.writerow(headers)#写入多行数据csv_writer.writerows(book_rows_li)

css文件_读取数据

#读取css文件 以列表格式输出withopen("ccc/books1.csv","r",encoding="utf8",newline="")asrf:#创建一个读取(可迭代对象)reader=csv.reader(rf)#写入表头next(reader)forrowinreader:print(row)

字典——》dict

csv文件_写入数据

#写入字典数据到csv文件 --常用方式withopen("ccc/books2.csv","w",encoding="utf8",newline="")aswf:#创建写入对象 需要传递表头 目的:确定数据写入位置writer=csv.DictWriter(wf,headers)#写入表头writer.writeheader()#写入多行数据writer.writerows(book_rows_li)

css文件_读取数据

#读取字典数据到csv文件 --常用方式withopen("ccc/books2.csv","r",encoding="utf8",newline="")asrf:#创建写入对象 需要传递表头 目的:确定数据写入位置reader=csv.DictReader(wf,headers)#写入表头next(reader)forrowinreader:print(row)

案例——爬取壁纸

importreimportrequests_html session=requests_html.HTMLSession()url='http://www.netbian.com/'response=session.get(url)#设置网页解析的编码模式(根据网页编码确定)response.encoding="gbk"html=response.text#编译正则表达式 re.s 设置，匹配换行 re.I 设置匹配对大小写不敏感pattern=re.compile(r'<img src="(.*?)".*?>',re.S|re.I)print(pattern.findall(html))