网站编号：6368

所属分类： 电影视频

网站URL： https://beautifulsoup.readthedocs.io/zh_CN/latest

最后点入：2024-06-17 19:03:46 · 加入时间：2024-06-17 19:03:46

网站关键词(0个字符):
该站未曾设置keywords

网站描述词(0个字符):
该站未曾设置description

关于beautifulsoup.readthedocs.io说明：
beautifulsoup.readthedocs.io由网友主动性提交被自动秒收录整理收录的，自动秒收录仅提供beautifulsoup.readthedocs.io的基础信息并免费向大众网友展示，beautifulsoup.readthedocs.io的是IP地址：104.17.33.82 [泛播 Cloudflare]，beautifulsoup.readthedocs.io的百度权重为2、百度手机权重为1、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在138之间、百度手机端来访流量大约在47之间、beautifulsoup.readthedocs.io的备案号是-、备案人叫-、被百度收录的关键词有13个、手机端关键词有3个、迄今为止已经创建10年2天。

下载地址: txt下载、docx下载、pdf下载、rar下载、zip下载

本页地址: https://www.badfl.com/links/ba6115222680f7ba0d05.html

SEO信息	百度来访IP：138 | 移动端来访IP：47 | 出站链接：23 | 站内链接：7
IP网速：	IP地址：104.17.33.82 [泛播 Cloudflare] | 网速：241毫秒
ALEXA排名	世界排名：10,109,514 | 预估IP：- | 预估PV：-
备案信息	- | 名称：- | 已创建：10年2天

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
13	3	电脑端优秀	-	0	0

协议类型HTTP/2.0 200 OK 页面类型text/html; charset=utf-8 服务器类型cloudflare 是否压缩是 原网页大小254865 压缩后大小39765 压缩比84.4%

B e a u t i f u l S o u p 4 . 4 . 0 文 档 — b e a u t i f u l s o u p 4 . 4 . 0 q 文 档 B e a u t i f u l S o u p 4 . 4 . 0 文 档 ¶ B e a u t i f u l S o u p 是 一 个 可 以 从 H T M L 或 X M L 文 件 中 提 取 数 据 的 P y t h o n 库 . 它 能 够 通 过 你 喜 欢 的 转 换 器 实 现 惯 用 的 文 档 导 航 , 查 找 , 修 改 文 档 的 方 式 . B e a u t i f u l S o u p 会 帮 你 节 省 数 小 时 甚 至 数 天 的 工 作 时 间 . 这 篇 文 档 介 绍 了 B e a u t i f u l S o u p 4 中 所 有 主 要 特 性 , 并 且 有 小 例 子 . 让 我 来 向 你 展 示 它 适 合 做 什 么 , 如 何 工 作 , 怎 样 使 用 , 如 何 达 到 你 想 要 的 效 果 , 和 处 理 异 常 情 况 . 文 档 中 出 现 的 例 子 在 P y t h o n 2 . 7 和 P y t h o n 3 . 2 中 的 执 行 结 果 相 同 你 可 能 在 寻 找 B e a u t i f u l S o u p 3 的 文 档 , B e a u t i f u l S o u p 3 目 前 已 经 停 止 开 发 , 我 们 推 荐 在 现 在 的 项 目 中 使 用 B e a u t i f u l S o u p 4 , 移 植 到 B S 4 这 篇 帮 助 文 档 已 经 被 翻 译 成 了 其 它 语 言 : 这 篇 文 档 当 然 还 有 中 文 版 . こ の ペ ー ジ は 日 本 語 で 利 用 で き ま す ( 外 部 リ ン ク ) 이 문 서 는 한 국 어 번 역 도 가 능 합 니 다 . ( 외 부 링 크 ) 寻 求 帮 助 ¶ 如 果 你 有 关 于 B e a u t i f u l S o u p 的 问 题 , 可 以 发 送 邮 件 到 讨 论 组 . 如 果 你 的 问 题 包 含 了 一 段 需 要 转 换 的 H T M L 代 码 , 那 么 确 保 你 提 的 问 题 描 述 中 附 带 这 段 H T M L 文 档 的 代 码 诊 断 [ 1 ] 快 速 开 始 ¶ 下 面 的 一 段 H T M L 代 码 将 作 为 例 子 被 多 次 用 到 . 这 是 爱 丽 丝 梦 游 仙 境 的 的 一 段 内 容 ( 以 后 内 容 中 简 称 为 爱 丽 丝 的 文 档 ) : h t m l _ d o c = T h e D o r m o u s e s s t o r y T h e D o r m o u s e s s t o r y O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e E l s i e , L a c i e a n d T i l l i e ; a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . . . . 使 用 B e a u t i f u l S o u p 解 析 这 段 代 码 , 能 够 得 到 一 个 B e a u t i f u l S o u p 的 对 象 , 并 能 按 照 标 准 的 缩 进 格 式 的 结 构 输 出 : f r o m b s 4 i m p o r t B e a u t i f u l S o u p s o u p = B e a u t i f u l S o u p ( h t m l _ d o c , h t m l . p a r s e r ) p r i n t ( s o u p . p r e t t i f y ( ) ) # # # # T h e D o r m o u s e s s t o r y # # # # # # T h e D o r m o u s e s s t o r y # # # # O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e # # E l s i e # # , # # L a c i e # # a n d # # T i l l i e # # ; a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . # # # . . . # # # 几 个 简 单 的 浏 览 结 构 化 数 据 的 方 法 : s o u p . t i t l e # T h e D o r m o u s e s s t o r y s o u p . t i t l e . n a m e # u t i t l e s o u p . t i t l e . s t r i n g # u T h e D o r m o u s e s s t o r y s o u p . t i t l e . p a r e n t . n a m e # u h e a d s o u p . p # T h e D o r m o u s e s s t o r y s o u p . p [ c l a s s ] # u t i t l e s o u p . a # E l s i e s o u p . f i n d _ a l l ( a ) # [ E l s i e , # L a c i e , # T i l l i e ] s o u p . f i n d ( i d = l i n k 3 ) # T i l l i e 从 文 档 中 找 到 所 有 标 签 的 链 接 : f o r l i n k i n s o u p . f i n d _ a l l ( a ) : p r i n t ( l i n k . g e t ( h r e f ) ) # h t t p : / / e x a m p l e . c o m / e l s i e # h t t p : / / e x a m p l e . c o m / l a c i e # h t t p : / / e x a m p l e . c o m / t i l l i e 从 文 档 中 获 取 所 有 文 字 内 容 : p r i n t ( s o u p . g e t _ t e x t ( ) ) # T h e D o r m o u s e s s t o r y # # T h e D o r m o u s e s s t o r y # # O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e # E l s i e , # L a c i e a n d # T i l l i e ; # a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . # # . . . 这 是 你 想 要 的 吗 ? 别 着 急 , 还 有 更 好 用 的 安 装 B e a u t i f u l S o u p ¶ 如 果 你 用 的 是 新 版 的 D e b a i n 或 u b u n t u , 那 么 可 以 通 过 系 统 的 软 件 包 管 理 来 安 装 : $ a p t g e t i n s t a l l P y t h o n b s 4 B e a u t i f u l S o u p 4 通 过 P y P i 发 布 , 所 以 如 果 你 无 法 使 用 系 统 包 管 理 安 装 , 那 么 也 可 以 通 过 e a s y _ i n s t a l l 或 p i p 来 安 装 . 包 的 名 字 是 b e a u t i f u l s o u p 4 , 这 个 包 兼 容 P y t h o n 2 和 P y t h o n 3 . $ e a s y _ i n s t a l l b e a u t i f u l s o u p 4 $ p i p i n s t a l l b e a u t i f u l s o u p 4 ( 在 P y P i 中 还 有 一 个 名 字 是 B e a u t i f u l S o u p 的 包 , 但 那 可 能 不 是 你 想 要 的 , 那 是 B e a u t i f u l S o u p 3 的 发 布 版 本 , 因 为 很 多 项 目 还 在 使 用 B S 3 , 所 以 B e a u t i f u l S o u p 包 依 然 有 效 . 但 是 如 果 你 在 编 写 新 项 目 , 那 么 你 应 该 安 装 的 b e a u t i f u l s o u p 4 ) 如 果 你 没 有 安 装 e a s y _ i n s t a l l 或 p i p , 那 你 也 可 以 下 载 B S 4 的 源 码 , 然 后 通 过 s e t u p . p y 来 安 装 . $ P y t h o n s e t u p . p y i n s t a l l 如 果 上 述 安 装 方 法 都 行 不 通 , B e a u t i f u l S o u p 的 发 布 协 议 允 许 你 将 B S 4 的 代 码 打 包 在 你 的 项 目 中 , 这 样 无 须 安 装 即 可 使 用 . 作 者 在 P y t h o n 2 . 7 和 P y t h o n 3 . 2 的 版 本 下 开 发 B e a u t i f u l S o u p , 理 论 上 B e a u t i f u l S o u p 应 该 在 所 有 当 前 的 P y t h o n 版 本 中 正 常 工 作 安 装 完 成 后 的 问 题 ¶ B e a u t i f u l S o u p 发 布 时 打 包 成 P y t h o n 2 版 本 的 代 码 , 在 P y t h o n 3 环 境 下 安 装 时 , 会 自 动 转 换 成 P y t h o n 3 的 代 码 , 如 果 没 有 一 个 安 装 的 过 程 , 那 么 代 码 就 不 会 被 转 换 . 如 果 代 码 抛 出 了 I m p o r t E r r o r 的 异 常 : “ N o m o d u l e n a m e d H T M L P a r s e r ” , 这 是 因 为 你 在 P y t h o n 3 版 本 中 执 行 P y t h o n 2 版 本 的 代 码 . 如 果 代 码 抛 出 了 I m p o r t E r r o r 的 异 常 : “ N o m o d u l e n a m e d h t m l . p a r s e r ” , 这 是 因 为 你 在 P y t h o n 2 版 本 中 执 行 P y t h o n 3 版 本 的 代 码 . 如 果 遇 到 上 述 2 种 情 况 , 最 好 的 解 决 方 法 是 重 新 安 装 B e a u t i f u l S o u p 4 . 如 果 在 R O O T _ T A G _ N A M E = u ’ [ d o c u m e n t ] ’ 代 码 处 遇 到 S y n t a x E r r o r “ I n v a l i d s y n t a x ” 错 误 , 需 要 将 把 B S 4 的 P y t h o n 代 码 版 本 从 P y t h o n 2 转 换 到 P y t h o n 3 . 可 以 重 新 安 装 B S 4 : $ P y t h o n 3 s e t u p . p y i n s t a l l 或 在 b s 4 的 目 录 中 执 行 P y t h o n 代 码 版 本 转 换 脚 本 $ 2 t o 3 3 . 2 w b s 4 安 装 解 析 器 ¶ B e a u t i f u l S o u p 支 持 P y t h o n 标 准 库 中 的 H T M L 解 析 器 , 还 支 持 一 些 第 三 方 的 解 析 器 , 其 中 一 个 是 l x m l . 根 据 操 作 系 统 不 同 , 可 以 选 择 下 列 方 法 来 安 装 l x m l : $ a p t g e t i n s t a l l P y t h o n l x m l $ e a s y _ i n s t a l l l x m l $ p i p i n s t a l l l x m l 另 一 个 可 供 选 择 的 解 析 器 是 纯 P y t h o n 实 现 的 h t m l 5 l i b , h t m l 5 l i b 的 解 析 方 式 与 浏 览 器 相 同 , 可 以 选 择 下 列 方 法 来 安 装 h t m l 5 l i b : $ a p t g e t i n s t a l l P y t h o n h t m l 5 l i b $ e a s y _ i n s t a l l h t m l 5 l i b $ p i p i n s t a l l h t m l 5 l i b 下 表 列 出 了 主 要 的 解 析 器 , 以 及 它 们 的 优 缺 点 : 解 析 器 使 用 方 法 优 势 劣 势 P y t h o n 标 准 库 B e a u t i f u l S o u p ( m a r k u p , h t m l . p a r s e r ) P y t h o n 的 内 置 标 准 库 执 行 速 度 适 中 文 档 容 错 能 力 强 P y t h o n 2 . 7 . 3 o r 3 . 2 . 2 ) 前 的 版 本 中 文 档 容 错 能 力 差 l x m l H T M L 解 析 器 B e a u t i f u l S o u p ( m a r k u p , l x m l ) 速 度 快 文 档 容 错 能 力 强 需 要 安 装 C 语 言 库 l x m l X M L 解 析 器 B e a u t i f u l S o u p ( m a r k u p , [ l x m l x m l ] ) B e a u t i f u l S o u p ( m a r k u p , x m l ) 速 度 快 唯 一 支 持 X M L 的 解 析 器 需 要 安 装 C 语 言 库 h t m l 5 l i b B e a u t i f u l S o u p ( m a r k u p , h t m l 5 l i b ) 最 好 的 容 错 性 以 浏 览 器 的 方 式 解 析 文 档 生 成 H T M L 5 格 式 的 文 档 速 度 慢 不 依 赖 外 部 扩 展 推 荐 使 用 l x m l 作 为 解 析 器 , 因 为 效 率 更 高 . 在 P y t h o n 2 . 7 . 3 之 前 的 版 本 和 P y t h o n 3 中 3 . 2 . 2 之 前 的 版 本 , 必 须 安 装 l x m l 或 h t m l 5 l i b , 因 为 那 些 P y t h o n 版 本 的 标 准 库 中 内 置 的 H T M L 解 析 方 法 不 够 稳 定 . 提 示 : 如 果 一 段 H T M L 或 X M L 文 档 格 式 不 正 确 的 话 , 那 么 在 不 同 的 解 析 器 中 返 回 的 结 果 可 能 是 不 一 样 的 , 查 看 解 析 器 之 间 的 区 别 了 解 更 多 细 节 如 何 使 用 ¶ 将 一 段 文 档 传 入 B e a u t i f u l S o u p 的 构 造 方 法 , 就 能 得 到 一 个 文 档 的 对 象 , 可 以 传 入 一 段 字 符 串 或 一 个 文 件 句 柄 . f r o m b s 4 i m p o r t B e a u t i f u l S o u p s o u p = B e a u t i f u l S o u p ( o p e n ( i n d e x . h t m l ) ) s o u p = B e a u t i f u l S o u p ( d a t a ) 首 先 , 文 档 被 转 换 成 U n i c o d e , 并 且 H T M L 的 实 例 都 被 转 换 成 U n i c o d e 编 码 B e a u t i f u l S o u p ( S a c r b l e u ! ) S a c r é b l e u ! 然 后 , B e a u t i f u l S o u p 选 择 最 合 适 的 解 析 器 来 解 析 这 段 文 档 , 如 果 手 动 指 定 解 析 器 那 么 B e a u t i f u l S o u p 会 选 择 指 定 的 解 析 器 来 解 析 文 档 . ( 参 考 解 析 成 X M L ) . 对 象 的 种 类 ¶ B e a u t i f u l S o u p 将 复 杂 H T M L 文 档 转 换 成 一 个 复 杂 的 树 形 结 构 , 每 个 节 点 都 是 P y t h o n 对 象 , 所 有 对 象 可 以 归 纳 为 4 种 : T a g , N a v i g a b l e S t r i n g , B e a u t i f u l S o u p , C o m m e n t . T a g ¶ T a g 对 象 与 X M L 或 H T M L 原 生 文 档 中 的 t a g 相 同 : s o u p = B e a u t i f u l S o u p ( E x t r e m e l y b o l d ) t a g = s o u p . b t y p e ( t a g ) # T a g 有 很 多 方 法 和 属 性 , 在 遍 历 文 档 树 和 搜 索 文 档 树 中 有 详 细 解 释 . 现 在 介 绍 一 下 t a g 中 最 重 要 的 属 性 : n a m e 和 a t t r i b u t e s N a m e ¶ 每 个 t a g 都 有 自 己 的 名 字 , 通 过 . n a m e 来 获 取 : t a g . n a m e # u b 如 果 改 变 了 t a g 的 n a m e , 那 将 影 响 所 有 通 过 当 前 B e a u t i f u l S o u p 对 象 生 成 的 H T M L 文 档 : t a g . n a m e = b l o c k q u o t e t a g # E x t r e m e l y b o l d A t t r i b u t e s ¶ 一 个 t a g 可 能 有 很 多 个 属 性 . t a g c l a s s = b o l d e s t > 有 一 个 “ c l a s s ” 的 属 性 , 值 为 “ b o l d e s t ” . t a g 的 属 性 的 操 作 方 法 与 字 典 相 同 : t a g [ c l a s s ] # u b o l d e s t 也 可 以 直 接 ” 点 ” 取 属 性 , 比 如 : . a t t r s : t a g . a t t r s # t a g 的 属 性 可 以 被 添 加 , 删 除 或 修 改 . 再 说 一 次 , t a g 的 属 性 操 作 方 法 与 字 典 一 样 t a g [ c l a s s ] = v e r y b o l d t a g [ i d ] = 1 t a g # E x t r e m e l y b o l d d e l t a g [ c l a s s ] d e l t a g [ i d ] t a g # E x t r e m e l y b o l d t a g [ c l a s s ] # K e y E r r o r : c l a s s p r i n t ( t a g . g e t ( c l a s s ) ) # N o n e 多 值 属 性 ¶ H T M L 4 定 义 了 一 系 列 可 以 包 含 多 个 值 的 属 性 . 在 H T M L 5 中 移 除 了 一 些 , 却 增 加 更 多 . 最 常 见 的 多 值 的 属 性 是 c l a s s ( 一 个 t a g 可 以 有 多 个 C S S 的 c l a s s ) . 还 有 一 些 属 性 r e l , r e v , a c c e p t c h a r s e t , h e a d e r s , a c c e s s k e y . 在 B e a u t i f u l S o u p 中 多 值 属 性 的 返 回 类 型 是 l i s t : c s s _ s o u p = B e a u t i f u l S o u p ( ) c s s _ s o u p . p [ c l a s s ] # [ b o d y , s t r i k e o u t ] c s s _ s o u p = B e a u t i f u l S o u p ( ) c s s _ s o u p . p [ c l a s s ] # [ b o d y ] 如 果 某 个 属 性 看 起 来 好 像 有 多 个 值 , 但 在 任 何 版 本 的 H T M L 定 义 中 都 没 有 被 定 义 为 多 值 属 性 , 那 么 B e a u t i f u l S o u p 会 将 这 个 属 性 作 为 字 符 串 返 回 i d _ s o u p = B e a u t i f u l S o u p ( ) i d _ s o u p . p [ i d ] # m y i d 将 t a g 转 换 成 字 符 串 时 , 多 值 属 性 会 合 并 为 一 个 值 r e l _ s o u p = B e a u t i f u l S o u p ( B a c k t o t h e h o m e p a g e ) r e l _ s o u p . a [ r e l ] # [ i n d e x ] r e l _ s o u p . a [ r e l ] = [ i n d e x , c o n t e n t s ] p r i n t ( r e l _ s o u p . p ) # B a c k t o t h e h o m e p a g e 如 果 转 换 的 文 档 是 X M L 格 式 , 那 么 t a g 中 不 包 含 多 值 属 性 x m l _ s o u p = B e a u t i f u l S o u p ( , x m l ) x m l _ s o u p . p [ c l a s s ] # u b o d y s t r i k e o u t 可 以 遍 历 的 字 符 串 ¶ 字 符 串 常 被 包 含 在 t a g 内 . B e a u t i f u l S o u p 用 N a v i g a b l e S t r i n g 类 来 包 装 t a g 中 的 字 符 串 : t a g . s t r i n g # u E x t r e m e l y b o l d t y p e ( t a g . s t r i n g ) # 一 个 N a v i g a b l e S t r i n g 字 符 串 与 P y t h o n 中 的 U n i c o d e 字 符 串 相 同 , 并 且 还 支 持 包 含 在 遍 历 文 档 树 和 搜 索 文 档 树 中 的 一 些 特 性 . 通 过 u n i c o d e ( ) 方 法 可 以 直 接 将 N a v i g a b l e S t r i n g 对 象 转 换 成 U n i c o d e 字 符 串 : u n i c o d e _ s t r i n g = u n i c o d e ( t a g . s t r i n g ) u n i c o d e _ s t r i n g # u E x t r e m e l y b o l d t y p e ( u n i c o d e _ s t r i n g ) # t a g 中 包 含 的 字 符 串 不 能 编 辑 , 但 是 可 以 被 替 换 成 其 它 的 字 符 串 , 用 r e p l a c e _ w i t h ( ) 方 法 : t a g . s t r i n g . r e p l a c e _ w i t h ( N o l o n g e r b o l d ) t a g # N o l o n g e r b o l d N a v i g a b l e S t r i n g 对 象 支 持 遍 历 文 档 树 和 搜 索 文 档 树 中 定 义 的 大 部 分 属 性 , 并 非 全 部 . 尤 其 是 , 一 个 字 符 串 不 能 包 含 其 它 内 容 ( t a g 能 够 包 含 字 符 串 或 是 其 它 t a g ) , 字 符 串 不 支 持 . c o n t e n t s 或 . s t r i n g 属 性 或 f i n d ( ) 方 法 . 如 果 想 在 B e a u t i f u l S o u p 之 外 使 用 N a v i g a b l e S t r i n g 对 象 , 需 要 调 用 u n i c o d e ( ) 方 法 , 将 该 对 象 转 换 成 普 通 的 U n i c o d e 字 符 串 , 否 则 就 算 B e a u t i f u l S o u p 已 方 法 已 经 执 行 结 束 , 该 对 象 的 输 出 也 会 带 有 对 象 的 引 用 地 址 . 这 样 会 浪 费 内 存 . B e a u t i f u l S o u p ¶ B e a u t i f u l S o u p 对 象 表 示 的 是 一 个 文 档 的 全 部 内 容 . 大 部 分 时 候 , 可 以 把 它 当 作 T a g 对 象 , 它 支 持 遍 历 文 档 树 和 搜 索 文 档 树 中 描 述 的 大 部 分 的 方 法 . 因 为 B e a u t i f u l S o u p 对 象 并 不 是 真 正 的 H T M L 或 X M L 的 t a g , 所 以 它 没 有 n a m e 和 a t t r i b u t e 属 性 . 但 有 时 查 看 它 的 . n a m e 属 性 是 很 方 便 的 , 所 以 B e a u t i f u l S o u p 对 象 包 含 了 一 个 值 为 “ [ d o c u m e n t ] ” 的 特 殊 属 性 . n a m e s o u p . n a m e # u [ d o c u m e n t ] 注 释 及 特 殊 字 符 串 ¶ T a g , N a v i g a b l e S t r i n g , B e a u t i f u l S o u p 几 乎 覆 盖 了 h t m l 和 x m l 中 的 所 有 内 容 , 但 是 还 有 一 些 特 殊 对 象 . 容 易 让 人 担 心 的 内 容 是 文 档 的 注 释 部 分 : m a r k u p = s o u p = B e a u t i f u l S o u p ( m a r k u p ) c o m m e n t = s o u p . b . s t r i n g t y p e ( c o m m e n t ) # C o m m e n t 对 象 是 一 个 特 殊 类 型 的 N a v i g a b l e S t r i n g 对 象 : c o m m e n t # u H e y , b u d d y . W a n t t o b u y a u s e d p a r s e r 但 是 当 它 出 现 在 H T M L 文 档 中 时 , C o m m e n t 对 象 会 使 用 特 殊 的 格 式 输 出 : p r i n t ( s o u p . b . p r e t t i f y ( ) ) # # # B e a u t i f u l S o u p 中 定 义 的 其 它 类 型 都 可 能 会 出 现 在 X M L 的 文 档 中 : C D a t a , P r o c e s s i n g I n s t r u c t i o n , D e c l a r a t i o n , D o c t y p e . 与 C o m m e n t 对 象 类 似 , 这 些 类 都 是 N a v i g a b l e S t r i n g 的 子 类 , 只 是 添 加 了 一 些 额 外 的 方 法 的 字 符 串 独 享 . 下 面 是 用 C D A T A 来 替 代 注 释 的 例 子 : f r o m b s 4 i m p o r t C D a t a c d a t a = C D a t a ( A C D A T A b l o c k ) c o m m e n t . r e p l a c e _ w i t h ( c d a t a ) p r i n t ( s o u p . b . p r e t t i f y ( ) ) # # # 遍 历 文 档 树 ¶ 还 拿 ” 爱 丽 丝 梦 游 仙 境 ” 的 文 档 来 做 例 子 : h t m l _ d o c = T h e D o r m o u s e s s t o r y T h e D o r m o u s e s s t o r y O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e E l s i e , L a c i e a n d T i l l i e ; a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . . . . f r o m b s 4 i m p o r t B e a u t i f u l S o u p s o u p = B e a u t i f u l S o u p ( h t m l _ d o c , h t m l . p a r s e r ) 通 过 这 段 例 子 来 演 示 怎 样 从 文 档 的 一 段 内 容 找 到 另 一 段 内 容 子 节 点 ¶ 一 个 T a g 可 能 包 含 多 个 字 符 串 或 其 它 的 T a g , 这 些 都 是 这 个 T a g 的 子 节 点 . B e a u t i f u l S o u p 提 供 了 许 多 操 作 和 遍 历 子 节 点 的 属 性 . 注 意 : B e a u t i f u l S o u p 中 字 符 串 节 点 不 支 持 这 些 属 性 , 因 为 字 符 串 没 有 子 节 点 t a g 的 名 字 ¶ 操 作 文 档 树 最 简 单 的 方 法 就 是 告 诉 它 你 想 获 取 的 t a g 的 n a m e . 如 果 想 获 取 标 签 , 只 要 用 s o u p . h e a d : s o u p . h e a d # T h e D o r m o u s e s s t o r y s o u p . t i t l e # T h e D o r m o u s e s s t o r y 这 是 个 获 取 t a g 的 小 窍 门 , 可 以 在 文 档 树 的 t a g 中 多 次 调 用 这 个 方 法 . 下 面 的 代 码 可 以 获 取 标 签 中 的 第 一 个 标 签 : s o u p . b o d y . b # T h e D o r m o u s e s s t o r y 通 过 点 取 属 性 的 方 式 只 能 获 得 当 前 名 字 的 第 一 个 t a g : s o u p . a # E l s i e 如 果 想 要 得 到 所 有 的 标 签 , 或 是 通 过 名 字 得 到 比 一 个 t a g 更 多 的 内 容 的 时 候 , 就 需 要 用 到 S e a r c h i n g t h e t r e e 中 描 述 的 方 法 , 比 如 : f i n d _ a l l ( ) s o u p . f i n d _ a l l ( a ) # [ E l s i e , # L a c i e , # T i l l i e ] . c o n t e n t s 和 . c h i l d r e n ¶ t a g 的 . c o n t e n t s 属 性 可 以 将 t a g 的 子 节 点 以 列 表 的 方 式 输 出 : h e a d _ t a g = s o u p . h e a d h e a d _ t a g # T h e D o r m o u s e s s t o r y h e a d _ t a g . c o n t e n t s [ t i t l e > T h e D o r m o u s e s s t o r y ] t i t l e _ t a g = h e a d _ t a g . c o n t e n t s [ 0 ] t i t l e _ t a g # T h e D o r m o u s e s s t o r y t i t l e _ t a g . c o n t e n t s # [ u T h e D o r m o u s e s s t o r y ] B e a u t i f u l S o u p 对 象 本 身 一 定 会 包 含 子 节 点 , 也 就 是 说 标 签 也 是 B e a u t i f u l S o u p 对 象 的 子 节 点 : l e n ( s o u p . c o n t e n t s ) # 1 s o u p . c o n t e n t s [ 0 ] . n a m e # u h t m l 字 符 串 没 有 . c o n t e n t s 属 性 , 因 为 字 符 串 没 有 子 节 点 : t e x t = t i t l e _ t a g . c o n t e n t s [ 0 ] t e x t . c o n t e n t s # A t t r i b u t e E r r o r : N a v i g a b l e S t r i n g o b j e c t h a s n o a t t r i b u t e c o n t e n t s 通 过 t a g 的 . c h i l d r e n 生 成 器 , 可 以 对 t a g 的 子 节 点 进 行 循 环 : f o r c h i l d i n t i t l e _ t a g . c h i l d r e n : p r i n t ( c h i l d ) # T h e D o r m o u s e s s t o r y . d e s c e n d a n t s ¶ . c o n t e n t s 和 . c h i l d r e n 属 性 仅 包 含 t a g 的 直 接 子 节 点 . 例 如 , 标 签 只 有 一 个 直 接 子 节 点 h e a d _ t a g . c o n t e n t s # [ T h e D o r m o u s e s s t o r y ] 但 是 标 签 也 包 含 一 个 子 节 点 : 字 符 串 “ T h e D o r m o u s e ’ s s t o r y ” , 这 种 情 况 下 字 符 串 “ T h e D o r m o u s e ’ s s t o r y ” 也 属 于 标 签 的 子 孙 节 点 . . d e s c e n d a n t s 属 性 可 以 对 所 有 t a g 的 子 孙 节 点 进 行 递 归 循 环 [ 5 ] : f o r c h i l d i n h e a d _ t a g . d e s c e n d a n t s : p r i n t ( c h i l d ) # T h e D o r m o u s e s s t o r y # T h e D o r m o u s e s s t o r y 上 面 的 例 子 中 , 标 签 只 有 一 个 子 节 点 , 但 是 有 2 个 子 孙 节 点 : 节 点 和 的 子 节 点 , B e a u t i f u l S o u p 有 一 个 直 接 子 节 点 ( 节 点 ) , 却 有 很 多 子 孙 节 点 : l e n ( l i s t ( s o u p . c h i l d r e n ) ) # 1 l e n ( l i s t ( s o u p . d e s c e n d a n t s ) ) # 2 5 . s t r i n g ¶ 如 果 t a g 只 有 一 个 N a v i g a b l e S t r i n g 类 型 子 节 点 , 那 么 这 个 t a g 可 以 使 用 . s t r i n g 得 到 子 节 点 : t i t l e _ t a g . s t r i n g # u T h e D o r m o u s e s s t o r y 如 果 一 个 t a g 仅 有 一 个 子 节 点 , 那 么 这 个 t a g 也 可 以 使 用 . s t r i n g 方 法 , 输 出 结 果 与 当 前 唯 一 子 节 点 的 . s t r i n g 结 果 相 同 : h e a d _ t a g . c o n t e n t s # [ T h e D o r m o u s e s s t o r y ] h e a d _ t a g . s t r i n g # u T h e D o r m o u s e s s t o r y 如 果 t a g 包 含 了 多 个 子 节 点 , t a g 就 无 法 确 定 . s t r i n g 方 法 应 该 调 用 哪 个 子 节 点 的 内 容 , . s t r i n g 的 输 出 结 果 是 N o n e : p r i n t ( s o u p . h t m l . s t r i n g ) # N o n e . s t r i n g s 和 s t r i p p e d _ s t r i n g s ¶ 如 果 t a g 中 包 含 多 个 字 符 串 [ 2 ] , 可 以 使 用 . s t r i n g s 来 循 环 获 取 : f o r s t r i n g i n s o u p . s t r i n g s : p r i n t ( r e p r ( s t r i n g ) ) # u T h e D o r m o u s e s s t o r y # u \ \ n \ \ n # u T h e D o r m o u s e s s t o r y # u \ \ n \ \ n # u O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e \ \ n # u E l s i e # u , \ \ n # u L a c i e # u a n d \ \ n # u T i l l i e # u ; \ \ n a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . # u \ \ n \ \ n # u . . . # u \ \ n 输 出 的 字 符 串 中 可 能 包 含 了 很 多 空 格 或 空 行 , 使 用 . s t r i p p e d _ s t r i n g s 可 以 去 除 多 余 空 白 内 容 : f o r s t r i n g i n s o u p . s t r i p p e d _ s t r i n g s : p r i n t ( r e p r ( s t r i n g ) ) # u T h e D o r m o u s e s s t o r y # u T h e D o r m o u s e s s t o r y # u O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e # u E l s i e # u , # u L a c i e # u a n d # u T i l l i e # u ; \ \ n a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . # u . . . 全 部 是 空 格 的 行 会 被 忽 略 掉 , 段 首 和 段 末 的 空 白 会 被 删 除 父 节 点 ¶ 继 续 分 析 文 档 树 , 每 个 t a g 或 字 符 串 都 有 父 节 点 : 被 包 含 在 某 个 t a g 中 . p a r e n t ¶ 通 过 . p a r e n t 属 性 来 获 取 某 个 元 素 的 父 节 点 . 在 例 子 “ 爱 丽 丝 ” 的 文 档 中 , 标 签 是 标 签 的 父 节 点 : t i t l e _ t a g = s o u p . t i t l e t i t l e _ t a g # T h e D o r m o u s e s s t o r y t i t l e _ t a g . p a r e n t # T h e D o r m o u s e s s t o r y 文 档 t i t l e 的 字 符 串 也 有 父 节 点 : 标 签 t i t l e _ t a g . s t r i n g . p a r e n t # T h e D o r m o u s e s s t o r y 文 档 的 顶 层 节 点 比 如 的 父 节 点 是 B e a u t i f u l S o u p 对 象 : h t m l _ t a g = s o u p . h t m l t y p e ( h t m l _ t a g . p a r e n t ) # B e a u t i f u l S o u p 对 象 的 . p a r e n t 是 N o n e : p r i n t ( s o u p . p a r e n t ) # N o n e . p a r e n t s ¶ 通 过 元 素 的 . p a r e n t s 属 性 可 以 递 归 得 到 元 素 的 所 有 父 辈 节 点 , 下 面 的 例 子 使 用 了 . p a r e n t s 方 法 遍 历 了 标 签 到 根 节 点 的 所 有 节 点 . l i n k = s o u p . a l i n k # E l s i e f o r p a r e n t i n l i n k . p a r e n t s : i f p a r e n t i s N o n e : p r i n t ( p a r e n t ) e l s e : p r i n t ( p a r e n t . n a m e ) # p # b o d y # h t m l # [ d o c u m e n t ] # N o n e 兄 弟 节 点 ¶ 看 一 段 简 单 的 例 子 : s i b l i n g _ s o u p = B e a u t i f u l S o u p ( t e x t 1 t e x t 2 ) p r i n t ( s i b l i n g _ s o u p . p r e t t i f y ( ) ) # # # # # t e x t 1 # # # t e x t 2 # # # # 因 为 标 签 和 标 签 是 同 一 层 : 他 们 是 同 一 个 元 素 的 子 节 点 , 所 以 和 可 以 被 称 为 兄 弟 节 点 . 一 段 文 档 以 标 准 格 式 输 出 时 , 兄 弟 节 点 有 相 同 的 缩 进 级 别 . 在 代 码 中 也 可 以 使 用 这 种 关 系 . . n e x t _ s i b l i n g 和 . p r e v i o u s _ s i b l i n g ¶ 在 文 档 树 中 , 使 用 . n e x t _ s i b l i n g 和 . p r e v i o u s _ s i b l i n g 属 性 来 查 询 兄 弟 节 点 : s i b l i n g _ s o u p . b . n e x t _ s i b l i n g # t e x t 2 s i b l i n g _ s o u p . c . p r e v i o u s _ s i b l i n g # t e x t 1 标 签 有 . n e x t _ s i b l i n g 属 性 , 但 是 没 有 . p r e v i o u s _ s i b l i n g 属 性 , 因 为 标 签 在 同 级 节 点 中 是 第 一 个 . 同 理 , 标 签 有 . p r e v i o u s _ s i b l i n g 属 性 , 却 没 有 . n e x t _ s i b l i n g 属 性 : p r i n t ( s i b l i n g _ s o u p . b . p r e v i o u s _ s i b l i n g ) # N o n e p r i n t ( s i b l i n g _ s o u p . c . n e x t _ s i b l i n g ) # N o n e 例 子 中 的 字 符 串 “ t e x t 1 ” 和 “ t e x t 2 ” 不 是 兄 弟 节 点 , 因 为 它 们 的 父 节 点 不 同 : s i b l i n g _ s o u p . b . s t r i n g # u t e x t 1 p r i n t ( s i b l i n g _ s o u p . b . s t r i n g . n e x t _ s i b l i n g ) # N o n e 实 际 文 档 中 的 t a g 的 . n e x t _ s i b l i n g 和 . p r e v i o u s _ s i b l i n g 属 性 通 常 是 字 符 串 或 空 白 . 看 看 “ 爱 丽 丝 ” 文 档 : a h r e f = h t t p : / / e x a m p l e . c o m / e l s i e c l a s s = s i s t e r i d = l i n k 1 > E l s i e a > a h r e f = h t t p : / / e x a m p l e . c o m / l a c i e c l a s s = s i s t e r i d = l i n k 2 > L a c i e a > a h r e f = h t t p : / / e x a m p l e . c o m / t i l l i e c l a s s = s i s t e r i d = l i n k 3 > T i l l i e a > 如 果 以 为 第 一 个 标 签 的 . n e x t _ s i b l i n g 结 果 是 第 二 个 标 签 , 那 就 错 了 , 真 实 结 果 是 第 一 个 标 签 和 第 二 个 标 签 之 间 的 顿 号 和 换 行 符 : l i n k = s o u p . a l i n k # E l s i e l i n k . n e x t _ s i b l i n g # u , \ \ n 第 二 个 标 签 是 顿 号 的 . n e x t _ s i b l i n g 属 性 : l i n k . n e x t _ s i b l i n g . n e x t _ s i b l i n g # L a c i e . n e x t _ s i b l i n g s 和 . p r e v i o u s _ s i b l i n g s ¶ 通 过 . n e x t _ s i b l i n g s 和 . p r e v i o u s _ s i b l i n g s 属 性 可 以 对 当 前 节 点 的 兄 弟 节 点 迭 代 输 出 : f o r s i b l i n g i n s o u p . a . n e x t _ s i b l i n g s : p r i n t ( r e p r ( s i b l i n g ) ) # u , \ \ n # L a c i e # u a n d \ \ n # T i l l i e # u ; a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . # N o n e f o r s i b l i n g i n s o u p . f i n d ( i d = l i n k 3 ) . p r e v i o u s _ s i b l i n g s : p r i n t ( r e p r ( s i b l i n g ) ) # a n d \ \ n # L a c i e # u , \ \ n # E l s i e # u O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e \ \ n # N o n e 回 退 和 前 进 ¶ 看 一 下 “ 爱 丽 丝 ” 文 档 : h t m l > h e a d > t i t l e > T h e D o r m o u s e s s t o r y p c l a s s = t i t l e > b > T h e D o r m o u s e s s t o r y H T M L 解 析 器 把 这 段 字 符 串 转 换 成 一 连 串 的 事 件 : “ 打 开 标 签 ” , ” 打 开 一 个 标 签 ” , ” 打 开 一 个 标 签 ” , ” 添 加 一 段 字 符 串 ” , ” 关 闭 标 签 ” , ” 打 开 标 签 ” , 等 等 . B e a u t i f u l S o u p 提 供 了 重 现 解 析 器 初 始 化 过 程 的 方 法 . . n e x t _ e l e m e n t 和 . p r e v i o u s _ e l e m e n t ¶ . n e x t _ e l e m e n t 属 性 指 向 解 析 过 程 中 下 一 个 被 解 析 的 对 象 ( 字 符 串 或 t a g ) , 结 果 可 能 与 . n e x t _ s i b l i n g 相 同 , 但 通 常 是 不 一 样 的 . 这 是 “ 爱 丽 丝 ” 文 档 中 最 后 一 个 标 签 , 它 的 . n e x t _ s i b l i n g 结 果 是 一 个 字 符 串 , 因 为 当 前 的 解 析 过 程 [ 2 ] 因 为 当 前 的 解 析 过 程 因 为 遇 到 了 标 签 而 中 断 了 : l a s t _ a _ t a g = s o u p . f i n d ( a , i d = l i n k 3 ) l a s t _ a _ t a g # T i l l i e l a s t _ a _ t a g . n e x t _ s i b l i n g # ; a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . 但 这 个 标 签 的 . n e x t _ e l e m e n t 属 性 结 果 是 在 标 签 被 解 析 之 后 的 解 析 内 容 , 不 是 标 签 后 的 句 子 部 分 , 应 该 是 字 符 串 ” T i l l i e ” : l a s t _ a _ t a g . n e x t _ e l e m e n t # u T i l l i e 这 是 因 为 在 原 始 文 档 中 , 字 符 串 “ T i l l i e ” 在 分 号 前 出 现 , 解 析 器 先 进 入 标 签 , 然 后 是 字 符 串 “ T i l l i e ” , 然 后 关 闭 标 签 , 然 后 是 分 号 和 剩 余 部 分 . 分 号 与 标 签 在 同 一 层 级 , 但 是 字 符 串 “ T i l l i e ” 会 被 先 解 析 . . p r e v i o u s _ e l e m e n t 属 性 刚 好 与 . n e x t _ e l e m e n t 相 反 , 它 指 向 当 前 被 解 析 的 对 象 的 前 一 个 解 析 对 象 : l a s t _ a _ t a g . p r e v i o u s _ e l e m e n t # u a n d \ \ n l a s t _ a _ t a g . p r e v i o u s _ e l e m e n t . n e x t _ e l e m e n t # T i l l i e . n e x t _ e l e m e n t s 和 . p r e v i o u s _ e l e m e n t s ¶ 通 过 . n e x t _ e l e m e n t s 和 . p r e v i o u s _ e l e m e n t s 的 迭 代 器 就 可 以 向 前 或 向 后 访 问 文 档 的 解 析 内 容 , 就 好 像 文 档 正 在 被 解 析 一 样 : f o r e l e m e n t i n l a s t _ a _ t a g . n e x t _ e l e m e n t s : p r i n t ( r e p r ( e l e m e n t ) ) # u T i l l i e # u ; \ \ n a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . # u \ \ n \ \ n # . . . # u . . . # u \ \ n # N o n e 搜 索 文 档 树 ¶ B e a u t i f u l S o u p 定 义 了 很 多 搜 索 方 法 , 这 里 着 重 介 绍 2 个 : f i n d ( ) 和 f i n d _ a l l ( ) . 其 它 方 法 的 参 数 和 用 法 类 似 , 请 读 者 举 一 反 三 . 再 以 “ 爱 丽 丝 ” 文 档 作 为 例 子 : h t m l _ d o c = T h e D o r m o u s e s s t o r y T h e D o r m o u s e s s t o r y O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e E l s i e , L a c i e a n d T i l l i e ; a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . . . . f r o m b s 4 i m p o r t B e a u t i f u l S o u p s o u p = B e a u t i f u l S o u p ( h t m l _ d o c , h t m l . p a r s e r ) 使 用 f i n d _ a l l ( ) 类 似 的 方 法 可 以 查 找 到 想 要 查 找 的 文 档 内 容 过 滤 器 ¶ 介 绍 f i n d _ a l l ( ) 方 法 前 , 先 介 绍 一 下 过 滤 器 的 类 型 [ 3 ] , 这 些 过 滤 器 贯 穿 整 个 搜 索 的 A P I . 过 滤 器 可 以 被 用 在 t a g 的 n a m e 中 , 节 点 的 属 性 中 , 字 符 串 中 或 他 们 的 混 合 中 . 字 符 串 ¶ 最 简 单 的 过 滤 器 是 字 符 串 . 在 搜 索 方 法 中 传 入 一 个 字 符 串 参 数 , B e a u t i f u l S o u p 会 查 找 与 字 符 串 完 整 匹 配 的 内 容 , 下 面 的 例 子 用 于 查 找 文 档 中 所 有 的 标 签 : s o u p . f i n d _ a l l ( b ) # [ T h e D o r m o u s e s s t o r y ] 如 果 传 入 字 节 码 参 数 , B e a u t i f u l S o u p 会 当 作 U T F 8 编 码 , 可 以 传 入 一 段 U n i c o d e 编 码 来 避 免 B e a u t i f u l S o u p 解 析 编 码 出 错 正 则 表 达 式 ¶ 如 果 传 入 正 则 表 达 式 作 为 参 数 , B e a u t i f u l S o u p 会 通 过 正 则 表 达 式 的 m a t c h ( ) 来 匹 配 内 容 . 下 面 例 子 中 找 出 所 有 以 b 开 头 的 标 签 , 这 表 示 和 标 签 都 应 该 被 找 到 : i m p o r t r e f o r t a g i n s o u p . f i n d _ a l l ( r e . c o m p i l e ( ^ b ) ) : p r i n t ( t a g . n a m e ) # b o d y # b 下 面 代 码 找 出 所 有 名 字 中 包 含 ” t ” 的 标 签 : f o r t a g i n s o u p . f i n d _ a l l ( r e . c o m p i l e ( t ) ) : p r i n t ( t a g . n a m e ) # h t m l # t i t l e 列 表 ¶ 如 果 传 入 列 表 参 数 , B e a u t i f u l S o u p 会 将 与 列 表 中 任 一 元 素 匹 配 的 内 容 返 回 . 下 面 代 码 找 到 文 档 中 所 有 标 签 和 标 签 : s o u p . f i n d _ a l l ( [ a , b ] ) # [ T h e D o r m o u s e s s t o r y , # E l s i e , # L a c i e , # T i l l i e ] T r u e ¶ T r u e 可 以 匹 配 任 何 值 , 下 面 代 码 查 找 到 所 有 的 t a g , 但 是 不 会 返 回 字 符 串 节 点 f o r t a g i n s o u p . f i n d _ a l l ( T r u e ) : p r i n t ( t a g . n a m e ) # h t m l # h e a d # t i t l e # b o d y # p # b # p # a # a # a # p 方 法 ¶ 如 果 没 有 合 适 过 滤 器 , 那 么 还 可 以 定 义 一 个 方 法 , 方 法 只 接 受 一 个 元 素 参 数 [ 4 ] , 如 果 这 个 方 法 返 回 T r u e 表 示 当 前 元 素 匹 配 并 且 被 找 到 , 如 果 不 是 则 反 回 F a l s e 下 面 方 法 校 验 了 当 前 元 素 , 如 果 包 含 c l a s s 属 性 却 不 包 含 i d 属 性 , 那 么 将 返 回 T r u e : d e f h a s _ c l a s s _ b u t _ n o _ i d ( t a g ) : r e t u r n t a g . h a s _ a t t r ( c l a s s ) a n d n o t t a g . h a s _ a t t r ( i d ) 将 这 个 方 法 作 为 参 数 传 入 f i n d _ a l l ( ) 方 法 , 将 得 到 所 有 标 签 : s o u p . f i n d _ a l l ( h a s _ c l a s s _ b u t _ n o _ i d ) # [ T h e D o r m o u s e s s t o r y , # O n c e u p o n a t i m e t h e r e w e r e . . . , # . . . ] 返 回 结 果 中 只 有 标 签 没 有 标 签 , 因 为 标 签 还 定 义 了 ” i d ” , 没 有 返 回 和 , 因 为 和 中 没 有 定 义 ” c l a s s ” 属 性 . 通 过 一 个 方 法 来 过 滤 一 类 标 签 属 性 的 时 候 , 这 个 方 法 的 参 数 是 要 被 过 滤 的 属 性 的 值 , 而 不 是 这 个 标 签 . 下 面 的 例 子 是 找 出 h r e f 属 性 不 符 合 指 定 正 则 的 a 标 签 . d e f n o t _ l a c i e ( h r e f ) : r e t u r n h r e f a n d n o t r e . c o m p i l e ( l a c i e ) . s e a r c h ( h r e f ) s o u p . f i n d _ a l l ( h r e f = n o t _ l a c i e ) # [ E l s i e , # T i l l i e ] 标 签 过 滤 方 法 可 以 使 用 复 杂 方 法 . 下 面 的 例 子 可 以 过 滤 出 前 后 都 有 文 字 的 标 签 . f r o m b s 4 i m p o r t N a v i g a b l e S t r i n g d e f s u r r o u n d e d _ b y _ s t r i n g s ( t a g ) : r e t u r n ( i s i n s t a n c e ( t a g . n e x t _ e l e m e n t , N a v i g a b l e S t r i n g ) a n d i s i n s t a n c e ( t a g . p r e v i o u s _ e l e m e n t , N a v i g a b l e S t r i n g ) ) f o r t a g i n s o u p . f i n d _ a l l ( s u r r o u n d e d _ b y _ s t r i n g s ) : p r i n t t a g . n a m e # p # a # a # a # p 现 在 来 了 解 一 下 搜 索 方 法 的 细 节 f i n d _ a l l ( ) ¶ f i n d _ a l l ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) f i n d _ a l l ( ) 方 法 搜 索 当 前 t a g 的 所 有 t a g 子 节 点 , 并 判 断 是 否 符 合 过 滤 器 的 条 件 . 这 里 有 几 个 例 子 : s o u p . f i n d _ a l l ( t i t l e ) # [ T h e D o r m o u s e s s t o r y ] s o u p . f i n d _ a l l ( p , t i t l e ) # [ T h e D o r m o u s e s s t o r y ] s o u p . f i n d _ a l l ( a ) # [ E l s i e , # L a c i e , # T i l l i e ] s o u p . f i n d _ a l l ( i d = l i n k 2 ) # [ L a c i e ] i m p o r t r e s o u p . f i n d ( s t r i n g = r e . c o m p i l e ( s i s t e r s ) ) # u O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e \ \ n 有 几 个 方 法 很 相 似 , 还 有 几 个 方 法 是 新 的 , 参 数 中 的 s t r i n g 和 i d 是 什 么 含 义 ? 为 什 么 f i n d _ a l l ( p , t i t l e ) 返 回 的 是 C S S C l a s s 为 ” t i t l e ” 的 标 签 ? 我 们 来 仔 细 看 一 下 f i n d _ a l l ( ) 的 参 数 n a m e 参 数 ¶ n a m e 参 数 可 以 查 找 所 有 名 字 为 n a m e 的 t a g , 字 符 串 对 象 会 被 自 动 忽 略 掉 . 简 单 的 用 法 如 下 : s o u p . f i n d _ a l l ( t i t l e ) # [ T h e D o r m o u s e s s t o r y ] 重 申 : 搜 索 n a m e 参 数 的 值 可 以 使 任 一 类 型 的 过 滤 器 , 字 符 窜 , 正 则 表 达 式 , 列 表 , 方 法 或 是 T r u e . k e y w o r d 参 数 ¶ 如 果 一 个 指 定 名 字 的 参 数 不 是 搜 索 内 置 的 参 数 名 , 搜 索 时 会 把 该 参 数 当 作 指 定 名 字 t a g 的 属 性 来 搜 索 , 如 果 包 含 一 个 名 字 为 i d 的 参 数 , B e a u t i f u l S o u p 会 搜 索 每 个 t a g 的 ” i d ” 属 性 . s o u p . f i n d _ a l l ( i d = l i n k 2 ) # [ L a c i e ] 如 果 传 入 h r e f 参 数 , B e a u t i f u l S o u p 会 搜 索 每 个 t a g 的 ” h r e f ” 属 性 : s o u p . f i n d _ a l l ( h r e f = r e . c o m p i l e ( e l s i e ) ) # [ E l s i e ] 搜 索 指 定 名 字 的 属 性 时 可 以 使 用 的 参 数 值 包 括 字 符 串 , 正 则 表 达 式 , 列 表 , T r u e . 下 面 的 例 子 在 文 档 树 中 查 找 所 有 包 含 i d 属 性 的 t a g , 无 论 i d 的 值 是 什 么 : s o u p . f i n d _ a l l ( i d = T r u e ) # [ E l s i e , # L a c i e , # T i l l i e ] 使 用 多 个 指 定 名 字 的 参 数 可 以 同 时 过 滤 t a g 的 多 个 属 性 : s o u p . f i n d _ a l l ( h r e f = r e . c o m p i l e ( e l s i e ) , i d = l i n k 1 ) # [ t h r e e ] 有 些 t a g 属 性 在 搜 索 不 能 使 用 , 比 如 H T M L 5 中 的 d a t a * 属 性 : d a t a _ s o u p = B e a u t i f u l S o u p ( f o o ! ) d a t a _ s o u p . f i n d _ a l l ( d a t a f o o = v a l u e ) # S y n t a x E r r o r : k e y w o r d c a n t b e a n e x p r e s s i o n 但 是 可 以 通 过 f i n d _ a l l ( ) 方 法 的 a t t r s 参 数 定 义 一 个 字 典 参 数 来 搜 索 包 含 特 殊 属 性 的 t a g : d a t a _ s o u p . f i n d _ a l l ( a t t r s = ) # [ f o o ! ] 按 C S S 搜 索 ¶ 按 照 C S S 类 名 搜 索 t a g 的 功 能 非 常 实 用 , 但 标 识 C S S 类 名 的 关 键 字 c l a s s 在 P y t h o n 中 是 保 留 字 , 使 用 c l a s s 做 参 数 会 导 致 语 法 错 误 . 从 B e a u t i f u l S o u p 的 4 . 1 . 1 版 本 开 始 , 可 以 通 过 c l a s s _ 参 数 搜 索 有 指 定 C S S 类 名 的 t a g : s o u p . f i n d _ a l l ( a , c l a s s _ = s i s t e r ) # [ E l s i e , # L a c i e , # T i l l i e ] c l a s s _ 参 数 同 样 接 受 不 同 类 型 的 过 滤 器 , 字 符 串 , 正 则 表 达 式 , 方 法 或 T r u e : s o u p . f i n d _ a l l ( c l a s s _ = r e . c o m p i l e ( i t l ) ) # [ T h e D o r m o u s e s s t o r y ] d e f h a s _ s i x _ c h a r a c t e r s ( c s s _ c l a s s ) : r e t u r n c s s _ c l a s s i s n o t N o n e a n d l e n ( c s s _ c l a s s ) = = 6 s o u p . f i n d _ a l l ( c l a s s _ = h a s _ s i x _ c h a r a c t e r s ) # [ E l s i e , # L a c i e , # T i l l i e ] t a g 的 c l a s s 属 性 是 多 值 属 性 . 按 照 C S S 类 名 搜 索 t a g 时 , 可 以 分 别 搜 索 t a g 中 的 每 个 C S S 类 名 : c s s _ s o u p = B e a u t i f u l S o u p ( ) c s s _ s o u p . f i n d _ a l l ( p , c l a s s _ = s t r i k e o u t ) # [ ] c s s _ s o u p . f i n d _ a l l ( p , c l a s s _ = b o d y ) # [ ] 搜 索 c l a s s 属 性 时 也 可 以 通 过 C S S 值 完 全 匹 配 : c s s _ s o u p . f i n d _ a l l ( p , c l a s s _ = b o d y s t r i k e o u t ) # [ ] 完 全 匹 配 c l a s s 的 值 时 , 如 果 C S S 类 名 的 顺 序 与 实 际 不 符 , 将 搜 索 不 到 结 果 : s o u p . f i n d _ a l l ( a , a t t r s = ) # [ E l s i e , # L a c i e , # T i l l i e ] s t r i n g 参 数 ¶ 通 过 s t r i n g 参 数 可 以 搜 搜 文 档 中 的 字 符 串 内 容 . 与 n a m e 参 数 的 可 选 值 一 样 , s t r i n g 参 数 接 受 字 符 串 , 正 则 表 达 式 , 列 表 , T r u e . 看 例 子 : s o u p . f i n d _ a l l ( s t r i n g = E l s i e ) # [ u E l s i e ] s o u p . f i n d _ a l l ( s t r i n g = [ T i l l i e , E l s i e , L a c i e ] ) # [ u E l s i e , u L a c i e , u T i l l i e ] s o u p . f i n d _ a l l ( s t r i n g = r e . c o m p i l e ( D o r m o u s e ) ) [ u T h e D o r m o u s e s s t o r y , u T h e D o r m o u s e s s t o r y ] d e f i s _ t h e _ o n l y _ s t r i n g _ w i t h i n _ a _ t a g ( s ) : R e t u r n T r u e i f t h i s s t r i n g i s t h e o n l y c h i l d o f i t s p a r e n t t a g . r e t u r n ( s = = s . p a r e n t . s t r i n g ) s o u p . f i n d _ a l l ( s t r i n g = i s _ t h e _ o n l y _ s t r i n g _ w i t h i n _ a _ t a g ) # [ u T h e D o r m o u s e s s t o r y , u T h e D o r m o u s e s s t o r y , u E l s i e , u L a c i e , u T i l l i e , u . . . ] 虽 然 s t r i n g 参 数 用 于 搜 索 字 符 串 , 还 可 以 与 其 它 参 数 混 合 使 用 来 过 滤 t a g . B e a u t i f u l S o u p 会 找 到 . s t r i n g 方 法 与 s t r i n g 参 数 值 相 符 的 t a g . 下 面 代 码 用 来 搜 索 内 容 里 面 包 含 “ E l s i e ” 的 标 签 : s o u p . f i n d _ a l l ( a , s t r i n g = E l s i e ) # [ E l s i e ] l i m i t 参 数 ¶ f i n d _ a l l ( ) 方 法 返 回 全 部 的 搜 索 结 构 , 如 果 文 档 树 很 大 那 么 搜 索 会 很 慢 . 如 果 我 们 不 需 要 全 部 结 果 , 可 以 使 用 l i m i t 参 数 限 制 返 回 结 果 的 数 量 . 效 果 与 S Q L 中 的 l i m i t 关 键 字 类 似 , 当 搜 索 到 的 结 果 数 量 达 到 l i m i t 的 限 制 时 , 就 停 止 搜 索 返 回 结 果 . 文 档 树 中 有 3 个 t a g 符 合 搜 索 条 件 , 但 结 果 只 返 回 了 2 个 , 因 为 我 们 限 制 了 返 回 数 量 : s o u p . f i n d _ a l l ( a , l i m i t = 2 ) # [ E l s i e , # L a c i e ] r e c u r s i v e 参 数 ¶ 调 用 t a g 的 f i n d _ a l l ( ) 方 法 时 , B e a u t i f u l S o u p 会 检 索 当 前 t a g 的 所 有 子 孙 节 点 , 如 果 只 想 搜 索 t a g 的 直 接 子 节 点 , 可 以 使 用 参 数 r e c u r s i v e = F a l s e . 一 段 简 单 的 文 档 : h t m l > h e a d > t i t l e > T h e D o r m o u s e s s t o r y t i t l e > h e a d > . . . 是 否 使 用 r e c u r s i v e 参 数 的 搜 索 结 果 : s o u p . h t m l . f i n d _ a l l ( t i t l e ) # [ T h e D o r m o u s e s s t o r y ] s o u p . h t m l . f i n d _ a l l ( t i t l e , r e c u r s i v e = F a l s e ) # [ ] 这 是 文 档 片 段 h t m l > h e a d > t i t l e > T h e D o r m o u s e s s t o r y t i t l e > h e a d > . . . 标 签 在 标 签 下 , 但 并 不 是 直 接 子 节 点 , 标 签 才 是 直 接 子 节 点 . 在 允 许 查 询 所 有 后 代 节 点 时 B e a u t i f u l S o u p 能 够 查 找 到 标 签 . 但 是 使 用 了 r e c u r s i v e = F a l s e 参 数 之 后 , 只 能 查 找 直 接 子 节 点 , 这 样 就 查 不 到 标 签 了 . B e a u t i f u l S o u p 提 供 了 多 种 D O M 树 搜 索 方 法 . 这 些 方 法 都 使 用 了 类 似 的 参 数 定 义 . 比 如 这 些 方 法 : f i n d _ a l l ( ) : n a m e , a t t r s , t e x t , l i m i t . 但 是 只 有 f i n d _ a l l ( ) 和 f i n d ( ) 支 持 r e c u r s i v e 参 数 . 像 调 用 f i n d _ a l l ( ) 一 样 调 用 t a g ¶ f i n d _ a l l ( ) 几 乎 是 B e a u t i f u l S o u p 中 最 常 用 的 搜 索 方 法 , 所 以 我 们 定 义 了 它 的 简 写 方 法 . B e a u t i f u l S o u p 对 象 和 t a g 对 象 可 以 被 当 作 一 个 方 法 来 使 用 , 这 个 方 法 的 执 行 结 果 与 调 用 这 个 对 象 的 f i n d _ a l l ( ) 方 法 相 同 , 下 面 两 行 代 码 是 等 价 的 : s o u p . f i n d _ a l l ( a ) s o u p ( a ) 这 两 行 代 码 也 是 等 价 的 : s o u p . t i t l e . f i n d _ a l l ( s t r i n g = T r u e ) s o u p . t i t l e ( s t r i n g = T r u e ) f i n d ( ) ¶ f i n d ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) f i n d _ a l l ( ) 方 法 将 返 回 文 档 中 符 合 条 件 的 所 有 t a g , 尽 管 有 时 候 我 们 只 想 得 到 一 个 结 果 . 比 如 文 档 中 只 有 一 个 标 签 , 那 么 使 用 f i n d _ a l l ( ) 方 法 来 查 找 标 签 就 不 太 合 适 , 使 用 f i n d _ a l l 方 法 并 设 置 l i m i t = 1 参 数 不 如 直 接 使 用 f i n d ( ) 方 法 . 下 面 两 行 代 码 是 等 价 的 : s o u p . f i n d _ a l l ( t i t l e , l i m i t = 1 ) # [ T h e D o r m o u s e s s t o r y ] s o u p . f i n d ( t i t l e ) # T h e D o r m o u s e s s t o r y 唯 一 的 区 别 是 f i n d _ a l l ( ) 方 法 的 返 回 结 果 是 值 包 含 一 个 元 素 的 列 表 , 而 f i n d ( ) 方 法 直 接 返 回 结 果 . f i n d _ a l l ( ) 方 法 没 有 找 到 目 标 是 返 回 空 列 表 , f i n d ( ) 方 法 找 不 到 目 标 时 , 返 回 N o n e . p r i n t ( s o u p . f i n d ( n o s u c h t a g ) ) # N o n e s o u p . h e a d . t i t l e 是 t a g 的 名 字 方 法 的 简 写 . 这 个 简 写 的 原 理 就 是 多 次 调 用 当 前 t a g 的 f i n d ( ) 方 法 : s o u p . h e a d . t i t l e # T h e D o r m o u s e s s t o r y s o u p . f i n d ( h e a d ) . f i n d ( t i t l e ) # T h e D o r m o u s e s s t o r y f i n d _ p a r e n t s ( ) 和 f i n d _ p a r e n t ( ) ¶ f i n d _ p a r e n t s ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) f i n d _ p a r e n t ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) 我 们 已 经 用 了 很 大 篇 幅 来 介 绍 f i n d _ a l l ( ) 和 f i n d ( ) 方 法 , B e a u t i f u l S o u p 中 还 有 1 0 个 用 于 搜 索 的 A P I . 它 们 中 的 五 个 用 的 是 与 f i n d _ a l l ( ) 相 同 的 搜 索 参 数 , 另 外 5 个 与 f i n d ( ) 方 法 的 搜 索 参 数 类 似 . 区 别 仅 是 它 们 搜 索 文 档 的 不 同 部 分 . 记 住 : f i n d _ a l l ( ) 和 f i n d ( ) 只 搜 索 当 前 节 点 的 所 有 子 节 点 , 孙 子 节 点 等 . f i n d _ p a r e n t s ( ) 和 f i n d _ p a r e n t ( ) 用 来 搜 索 当 前 节 点 的 父 辈 节 点 , 搜 索 方 法 与 普 通 t a g 的 搜 索 方 法 相 同 , 搜 索 文 档 搜 索 文 档 包 含 的 内 容 . 我 们 从 一 个 文 档 中 的 一 个 叶 子 节 点 开 始 : a _ s t r i n g = s o u p . f i n d ( s t r i n g = L a c i e ) a _ s t r i n g # u L a c i e a _ s t r i n g . f i n d _ p a r e n t s ( a ) # [ L a c i e ] a _ s t r i n g . f i n d _ p a r e n t ( p ) # O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e # E l s i e , # L a c i e a n d # T i l l i e ; # a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . a _ s t r i n g . f i n d _ p a r e n t s ( p , c l a s s = t i t l e ) # [ ] 文 档 中 的 一 个 标 签 是 是 当 前 叶 子 节 点 的 直 接 父 节 点 , 所 以 可 以 被 找 到 . 还 有 一 个 标 签 , 是 目 标 叶 子 节 点 的 间 接 父 辈 节 点 , 所 以 也 可 以 被 找 到 . 包 含 c l a s s 值 为 ” t i t l e ” 的 标 签 不 是 不 是 目 标 叶 子 节 点 的 父 辈 节 点 , 所 以 通 过 f i n d _ p a r e n t s ( ) 方 法 搜 索 不 到 . f i n d _ p a r e n t ( ) 和 f i n d _ p a r e n t s ( ) 方 法 会 让 人 联 想 到 . p a r e n t 和 . p a r e n t s 属 性 . 它 们 之 间 的 联 系 非 常 紧 密 . 搜 索 父 辈 节 点 的 方 法 实 际 上 就 是 对 . p a r e n t s 属 性 的 迭 代 搜 索 . f i n d _ n e x t _ s i b l i n g s ( ) 和 f i n d _ n e x t _ s i b l i n g ( ) ¶ f i n d _ n e x t _ s i b l i n g s ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) f i n d _ n e x t _ s i b l i n g ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) 这 2 个 方 法 通 过 . n e x t _ s i b l i n g s 属 性 对 当 t a g 的 所 有 后 面 解 析 [ 5 ] 的 兄 弟 t a g 节 点 进 行 迭 代 , f i n d _ n e x t _ s i b l i n g s ( ) 方 法 返 回 所 有 符 合 条 件 的 后 面 的 兄 弟 节 点 , f i n d _ n e x t _ s i b l i n g ( ) 只 返 回 符 合 条 件 的 后 面 的 第 一 个 t a g 节 点 . f i r s t _ l i n k = s o u p . a f i r s t _ l i n k # E l s i e f i r s t _ l i n k . f i n d _ n e x t _ s i b l i n g s ( a ) # [ L a c i e , # T i l l i e ] f i r s t _ s t o r y _ p a r a g r a p h = s o u p . f i n d ( p , s t o r y ) f i r s t _ s t o r y _ p a r a g r a p h . f i n d _ n e x t _ s i b l i n g ( p ) # . . . f i n d _ p r e v i o u s _ s i b l i n g s ( ) 和 f i n d _ p r e v i o u s _ s i b l i n g ( ) ¶ f i n d _ p r e v i o u s _ s i b l i n g s ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) f i n d _ p r e v i o u s _ s i b l i n g ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) 这 2 个 方 法 通 过 . p r e v i o u s _ s i b l i n g s 属 性 对 当 前 t a g 的 前 面 解 析 [ 5 ] 的 兄 弟 t a g 节 点 进 行 迭 代 , f i n d _ p r e v i o u s _ s i b l i n g s ( ) 方 法 返 回 所 有 符 合 条 件 的 前 面 的 兄 弟 节 点 , f i n d _ p r e v i o u s _ s i b l i n g ( ) 方 法 返 回 第 一 个 符 合 条 件 的 前 面 的 兄 弟 节 点 : l a s t _ l i n k = s o u p . f i n d ( a , i d = l i n k 3 ) l a s t _ l i n k # T i l l i e l a s t _ l i n k . f i n d _ p r e v i o u s _ s i b l i n g s ( a ) # [ L a c i e , # E l s i e ] f i r s t _ s t o r y _ p a r a g r a p h = s o u p . f i n d ( p , s t o r y ) f i r s t _ s t o r y _ p a r a g r a p h . f i n d _ p r e v i o u s _ s i b l i n g ( p ) # T h e D o r m o u s e s s t o r y f i n d _ a l l _ n e x t ( ) 和 f i n d _ n e x t ( ) ¶ f i n d _ a l l _ n e x t ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) f i n d _ n e x t ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) 这 2 个 方 法 通 过 . n e x t _ e l e m e n t s 属 性 对 当 前 t a g 的 之 后 的 [ 5 ] t a g 和 字 符 串 进 行 迭 代 , f i n d _ a l l _ n e x t ( ) 方 法 返 回 所 有 符 合 条 件 的 节 点 , f i n d _ n e x t ( ) 方 法 返 回 第 一 个 符 合 条 件 的 节 点 : f i r s t _ l i n k = s o u p . a f i r s t _ l i n k # E l s i e f i r s t _ l i n k . f i n d _ a l l _ n e x t ( s t r i n g = T r u e ) # [ u E l s i e , u , \ \ n , u L a c i e , u a n d \ \ n , u T i l l i e , # u ; \ \ n a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . , u \ \ n \ \ n , u . . . , u \ \ n ] f i r s t _ l i n k . f i n d _ n e x t ( p ) # . . . 第 一 个 例 子 中 , 字 符 串 “ E l s i e ” 也 被 显 示 出 来 , 尽 管 它 被 包 含 在 我 们 开 始 查 找 的 标 签 的 里 面 . 第 二 个 例 子 中 , 最 后 一 个 标 签 也 被 显 示 出 来 , 尽 管 它 与 我 们 开 始 查 找 位 置 的 标 签 不 属 于 同 一 部 分 . 例 子 中 , 搜 索 的 重 点 是 要 匹 配 过 滤 器 的 条 件 , 并 且 在 文 档 中 出 现 的 顺 序 而 不 是 开 始 查 找 的 元 素 的 位 置 . f i n d _ a l l _ p r e v i o u s ( ) 和 f i n d _ p r e v i o u s ( ) ¶ f i n d _ a l l _ p r e v i o u s ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) f i n d _ p r e v i o u s ( n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s ) 这 2 个 方 法 通 过 . p r e v i o u s _ e l e m e n t s 属 性 对 当 前 节 点 前 面 [ 5 ] 的 t a g 和 字 符 串 进 行 迭 代 , f i n d _ a l l _ p r e v i o u s ( ) 方 法 返 回 所 有 符 合 条 件 的 节 点 , f i n d _ p r e v i o u s ( ) 方 法 返 回 第 一 个 符 合 条 件 的 节 点 . f i r s t _ l i n k = s o u p . a f i r s t _ l i n k # E l s i e f i r s t _ l i n k . f i n d _ a l l _ p r e v i o u s ( p ) # [ O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; . . . , # T h e D o r m o u s e s s t o r y ] f i r s t _ l i n k . f i n d _ p r e v i o u s ( t i t l e ) # T h e D o r m o u s e s s t o r y f i n d _ a l l _ p r e v i o u s ( p ) 返 回 了 文 档 中 的 第 一 段 ( c l a s s = ” t i t l e ” 的 那 段 ) , 但 还 返 回 了 第 二 段 , 标 签 包 含 了 我 们 开 始 查 找 的 标 签 . 不 要 惊 讶 , 这 段 代 码 的 功 能 是 查 找 所 有 出 现 在 指 定 标 签 之 前 的 标 签 , 因 为 这 个 标 签 包 含 了 开 始 的 标 签 , 所 以 标 签 一 定 是 在 之 前 出 现 的 . C S S 选 择 器 ¶ B e a u t i f u l S o u p 支 持 大 部 分 的 C S S 选 择 器 h t t p : / / w w w . w 3 . o r g / T R / C S S 2 / s e l e c t o r . h t m l [ 6 ] , 在 T a g 或 B e a u t i f u l S o u p 对 象 的 . s e l e c t ( ) 方 法 中 传 入 字 符 串 参 数 , 即 可 使 用 C S S 选 择 器 的 语 法 找 到 t a g : s o u p . s e l e c t ( t i t l e ) # [ T h e D o r m o u s e s s t o r y ] s o u p . s e l e c t ( p : n t h o f t y p e ( 3 ) ) # [ . . . ] 通 过 t a g 标 签 逐 层 查 找 : s o u p . s e l e c t ( b o d y a ) # [ E l s i e , # L a c i e , # T i l l i e ] s o u p . s e l e c t ( h t m l h e a d t i t l e ) # [ T h e D o r m o u s e s s t o r y ] 找 到 某 个 t a g 标 签 下 的 直 接 子 标 签 [ 6 ] : s o u p . s e l e c t ( h e a d > t i t l e ) # [ T h e D o r m o u s e s s t o r y ] s o u p . s e l e c t ( p > a ) # [ E l s i e , # L a c i e , # T i l l i e ] s o u p . s e l e c t ( p > a : n t h o f t y p e ( 2 ) ) # [ L a c i e ] s o u p . s e l e c t ( p > # l i n k 1 ) # [ E l s i e ] s o u p . s e l e c t ( b o d y > a ) # [ ] 找 到 兄 弟 节 点 标 签 : s o u p . s e l e c t ( # l i n k 1 ~ . s i s t e r ) # [ L a c i e , # T i l l i e ] s o u p . s e l e c t ( # l i n k 1 + . s i s t e r ) # [ L a c i e ] 通 过 C S S 的 类 名 查 找 : s o u p . s e l e c t ( . s i s t e r ) # [ E l s i e , # L a c i e , # T i l l i e ] s o u p . s e l e c t ( [ c l a s s ~ = s i s t e r ] ) # [ E l s i e , # L a c i e , # T i l l i e ] 通 过 t a g 的 i d 查 找 : s o u p . s e l e c t ( # l i n k 1 ) # [ E l s i e ] s o u p . s e l e c t ( a # l i n k 2 ) # [ L a c i e ] 同 时 用 多 种 C S S 选 择 器 查 询 元 素 : s o u p . s e l e c t ( # l i n k 1 , # l i n k 2 ) # [ E l s i e , # L a c i e ] 通 过 是 否 存 在 某 个 属 性 来 查 找 : s o u p . s e l e c t ( a [ h r e f ] ) # [ E l s i e , # L a c i e , # T i l l i e ] 通 过 属 性 的 值 来 查 找 : s o u p . s e l e c t ( a [ h r e f = h t t p : / / e x a m p l e . c o m / e l s i e ] ) # [ E l s i e ] s o u p . s e l e c t ( a [ h r e f ^ = h t t p : / / e x a m p l e . c o m / ] ) # [ E l s i e , # L a c i e , # T i l l i e ] s o u p . s e l e c t ( a [ h r e f $ = t i l l i e ] ) # [ T i l l i e ] s o u p . s e l e c t ( a [ h r e f * = . c o m / e l ] ) # [ E l s i e ] 通 过 语 言 设 置 来 查 找 : m u l t i l i n g u a l _ m a r k u p = H e l l o H o w d y , y a l l P i p p i p , o l d f r u i t B o n j o u r m e s a m i s m u l t i l i n g u a l _ s o u p = B e a u t i f u l S o u p ( m u l t i l i n g u a l _ m a r k u p ) m u l t i l i n g u a l _ s o u p . s e l e c t ( p [ l a n g | = e n ] ) # [ H e l l o , # H o w d y , y a l l , # P i p p i p , o l d f r u i t ] 返 回 查 找 到 的 元 素 的 第 一 个 s o u p . s e l e c t _ o n e ( . s i s t e r ) # E l s i e 对 于 熟 悉 C S S 选 择 器 语 法 的 人 来 说 这 是 个 非 常 方 便 的 方 法 . B e a u t i f u l S o u p 也 支 持 C S S 选 择 器 A P I , 如 果 你 仅 仅 需 要 C S S 选 择 器 的 功 能 , 那 么 直 接 使 用 l x m l 也 可 以 , 而 且 速 度 更 快 , 支 持 更 多 的 C S S 选 择 器 语 法 , 但 B e a u t i f u l S o u p 整 合 了 C S S 选 择 器 的 语 法 和 自 身 方 便 使 用 A P I . 修 改 文 档 树 ¶ B e a u t i f u l S o u p 的 强 项 是 文 档 树 的 搜 索 , 但 同 时 也 可 以 方 便 的 修 改 文 档 树 修 改 t a g 的 名 称 和 属 性 ¶ 在 A t t r i b u t e s 的 章 节 中 已 经 介 绍 过 这 个 功 能 , 但 是 再 看 一 遍 也 无 妨 . 重 命 名 一 个 t a g , 改 变 属 性 的 值 , 添 加 或 删 除 属 性 : s o u p = B e a u t i f u l S o u p ( E x t r e m e l y b o l d ) t a g = s o u p . b t a g . n a m e = b l o c k q u o t e t a g [ c l a s s ] = v e r y b o l d t a g [ i d ] = 1 t a g # E x t r e m e l y b o l d d e l t a g [ c l a s s ] d e l t a g [ i d ] t a g # E x t r e m e l y b o l d 修 改 . s t r i n g ¶ 给 t a g 的 . s t r i n g 属 性 赋 值 , 就 相 当 于 用 当 前 的 内 容 替 代 了 原 来 的 内 容 : m a r k u p = I l i n k e d t o e x a m p l e . c o m s o u p = B e a u t i f u l S o u p ( m a r k u p ) t a g = s o u p . a t a g . s t r i n g = N e w l i n k t e x t . t a g # N e w l i n k t e x t . 注 意 : 如 果 当 前 的 t a g 包 含 了 其 它 t a g , 那 么 给 它 的 . s t r i n g 属 性 赋 值 会 覆 盖 掉 原 有 的 所 有 内 容 包 括 子 t a g a p p e n d ( ) ¶ T a g . a p p e n d ( ) 方 法 想 t a g 中 添 加 内 容 , 就 好 像 P y t h o n 的 列 表 的 . a p p e n d ( ) 方 法 : s o u p = B e a u t i f u l S o u p ( F o o ) s o u p . a . a p p e n d ( B a r ) s o u p # F o o B a r s o u p . a . c o n t e n t s # [ u F o o , u B a r ] N a v i g a b l e S t r i n g ( ) 和 . n e w _ t a g ( ) ¶ 如 果 想 添 加 一 段 文 本 内 容 到 文 档 中 也 没 问 题 , 可 以 调 用 P y t h o n 的 a p p e n d ( ) 方 法 或 调 用 N a v i g a b l e S t r i n g 的 构 造 方 法 : s o u p = B e a u t i f u l S o u p ( ) t a g = s o u p . b t a g . a p p e n d ( H e l l o ) n e w _ s t r i n g = N a v i g a b l e S t r i n g ( t h e r e ) t a g . a p p e n d ( n e w _ s t r i n g ) t a g # H e l l o t h e r e . t a g . c o n t e n t s # [ u H e l l o , u t h e r e ] 如 果 想 要 创 建 一 段 注 释 , 或 N a v i g a b l e S t r i n g 的 任 何 子 类 , 只 要 调 用 N a v i g a b l e S t r i n g 的 构 造 方 法 : f r o m b s 4 i m p o r t C o m m e n t n e w _ c o m m e n t = s o u p . n e w _ s t r i n g ( N i c e t o s e e y o u . , C o m m e n t ) t a g . a p p e n d ( n e w _ c o m m e n t ) t a g # H e l l o t h e r e t a g . c o n t e n t s # [ u H e l l o , u t h e r e , u N i c e t o s e e y o u . ] # 这 是 B e a u t i f u l S o u p 4 . 2 . 1 中 新 增 的 方 法 创 建 一 个 t a g 最 好 的 方 法 是 调 用 工 厂 方 法 B e a u t i f u l S o u p . n e w _ t a g ( ) : s o u p = B e a u t i f u l S o u p ( ) o r i g i n a l _ t a g = s o u p . b n e w _ t a g = s o u p . n e w _ t a g ( a , h r e f = h t t p : / / w w w . e x a m p l e . c o m ) o r i g i n a l _ t a g . a p p e n d ( n e w _ t a g ) o r i g i n a l _ t a g # n e w _ t a g . s t r i n g = L i n k t e x t . o r i g i n a l _ t a g # L i n k t e x t . 第 一 个 参 数 作 为 t a g 的 n a m e , 是 必 填 , 其 它 参 数 选 填 i n s e r t ( ) ¶ T a g . i n s e r t ( ) 方 法 与 T a g . a p p e n d ( ) 方 法 类 似 , 区 别 是 不 会 把 新 元 素 添 加 到 父 节 点 . c o n t e n t s 属 性 的 最 后 , 而 是 把 元 素 插 入 到 指 定 的 位 置 . 与 P y t h o n 列 表 总 的 . i n s e r t ( ) 方 法 的 用 法 下 同 : m a r k u p = I l i n k e d t o e x a m p l e . c o m s o u p = B e a u t i f u l S o u p ( m a r k u p ) t a g = s o u p . a t a g . i n s e r t ( 1 , b u t d i d n o t e n d o r s e ) t a g # I l i n k e d t o b u t d i d n o t e n d o r s e e x a m p l e . c o m t a g . c o n t e n t s # [ u I l i n k e d t o , u b u t d i d n o t e n d o r s e , e x a m p l e . c o m ] i n s e r t _ b e f o r e ( ) 和 i n s e r t _ a f t e r ( ) ¶ i n s e r t _ b e f o r e ( ) 方 法 在 当 前 t a g 或 文 本 节 点 前 插 入 内 容 : s o u p = B e a u t i f u l S o u p ( s t o p ) t a g = s o u p . n e w _ t a g ( i ) t a g . s t r i n g = D o n t s o u p . b . s t r i n g . i n s e r t _ b e f o r e ( t a g ) s o u p . b # D o n t s t o p i n s e r t _ a f t e r ( ) 方 法 在 当 前 t a g 或 文 本 节 点 后 插 入 内 容 : s o u p . b . i . i n s e r t _ a f t e r ( s o u p . n e w _ s t r i n g ( e v e r ) ) s o u p . b # D o n t e v e r s t o p s o u p . b . c o n t e n t s # [ D o n t , u e v e r , u s t o p ] c l e a r ( ) ¶ T a g . c l e a r ( ) 方 法 移 除 当 前 t a g 的 内 容 : m a r k u p = I l i n k e d t o e x a m p l e . c o m s o u p = B e a u t i f u l S o u p ( m a r k u p ) t a g = s o u p . a t a g . c l e a r ( ) t a g # e x t r a c t ( ) ¶ P a g e E l e m e n t . e x t r a c t ( ) 方 法 将 当 前 t a g 移 除 文 档 树 , 并 作 为 方 法 结 果 返 回 : m a r k u p = I l i n k e d t o e x a m p l e . c o m s o u p = B e a u t i f u l S o u p ( m a r k u p ) a _ t a g = s o u p . a i _ t a g = s o u p . i . e x t r a c t ( ) a _ t a g # I l i n k e d t o i _ t a g # e x a m p l e . c o m p r i n t ( i _ t a g . p a r e n t ) N o n e 这 个 方 法 实 际 上 产 生 了 2 个 文 档 树 : 一 个 是 用 来 解 析 原 始 文 档 的 B e a u t i f u l S o u p 对 象 , 另 一 个 是 被 移 除 并 且 返 回 的 t a g . 被 移 除 并 返 回 的 t a g 可 以 继 续 调 用 e x t r a c t 方 法 : m y _ s t r i n g = i _ t a g . s t r i n g . e x t r a c t ( ) m y _ s t r i n g # u e x a m p l e . c o m p r i n t ( m y _ s t r i n g . p a r e n t ) # N o n e i _ t a g # d e c o m p o s e ( ) ¶ T a g . d e c o m p o s e ( ) 方 法 将 当 前 节 点 移 除 文 档 树 并 完 全 销 毁 : m a r k u p = I l i n k e d t o e x a m p l e . c o m s o u p = B e a u t i f u l S o u p ( m a r k u p ) a _ t a g = s o u p . a s o u p . i . d e c o m p o s e ( ) a _ t a g # I l i n k e d t o r e p l a c e _ w i t h ( ) ¶ P a g e E l e m e n t . r e p l a c e _ w i t h ( ) 方 法 移 除 文 档 树 中 的 某 段 内 容 , 并 用 新 t a g 或 文 本 节 点 替 代 它 : m a r k u p = I l i n k e d t o e x a m p l e . c o m s o u p = B e a u t i f u l S o u p ( m a r k u p ) a _ t a g = s o u p . a n e w _ t a g = s o u p . n e w _ t a g ( b ) n e w _ t a g . s t r i n g = e x a m p l e . n e t a _ t a g . i . r e p l a c e _ w i t h ( n e w _ t a g ) a _ t a g # I l i n k e d t o e x a m p l e . n e t r e p l a c e _ w i t h ( ) 方 法 返 回 被 替 代 的 t a g 或 文 本 节 点 , 可 以 用 来 浏 览 或 添 加 到 文 档 树 其 它 地 方 w r a p ( ) ¶ P a g e E l e m e n t . w r a p ( ) 方 法 可 以 对 指 定 的 t a g 元 素 进 行 包 装 [ 8 ] , 并 返 回 包 装 后 的 结 果 : s o u p = B e a u t i f u l S o u p ( I w i s h I w a s b o l d . ) s o u p . p . s t r i n g . w r a p ( s o u p . n e w _ t a g ( b ) ) # I w i s h I w a s b o l d . s o u p . p . w r a p ( s o u p . n e w _ t a g ( d i v ) ) # I w i s h I w a s b o l d . 该 方 法 在 B e a u t i f u l S o u p 4 . 0 . 5 中 添 加 u n w r a p ( ) ¶ T a g . u n w r a p ( ) 方 法 与 w r a p ( ) 方 法 相 反 . 将 移 除 t a g 内 的 所 有 t a g 标 签 , 该 方 法 常 被 用 来 进 行 标 记 的 解 包 : m a r k u p = I l i n k e d t o e x a m p l e . c o m s o u p = B e a u t i f u l S o u p ( m a r k u p ) a _ t a g = s o u p . a a _ t a g . i . u n w r a p ( ) a _ t a g # I l i n k e d t o e x a m p l e . c o m 与 r e p l a c e _ w i t h ( ) 方 法 相 同 , u n w r a p ( ) 方 法 返 回 被 移 除 的 t a g 输 出 ¶ 格 式 化 输 出 ¶ p r e t t i f y ( ) 方 法 将 B e a u t i f u l S o u p 的 文 档 树 格 式 化 后 以 U n i c o d e 编 码 输 出 , 每 个 X M L / H T M L 标 签 都 独 占 一 行 m a r k u p = I l i n k e d t o e x a m p l e . c o m s o u p = B e a u t i f u l S o u p ( m a r k u p ) s o u p . p r e t t i f y ( ) # \ \ n \ \ n \ \ n \ \ n \ \ n . . . p r i n t ( s o u p . p r e t t i f y ( ) ) # # # # # # I l i n k e d t o # # e x a m p l e . c o m # # # # B e a u t i f u l S o u p 对 象 和 它 的 t a g 节 点 都 可 以 调 用 p r e t t i f y ( ) 方 法 : p r i n t ( s o u p . a . p r e t t i f y ( ) ) # # I l i n k e d t o # # e x a m p l e . c o m # # 压 缩 输 出 ¶ 如 果 只 想 得 到 结 果 字 符 串 , 不 重 视 格 式 , 那 么 可 以 对 一 个 B e a u t i f u l S o u p 对 象 或 T a g 对 象 使 用 P y t h o n 的 u n i c o d e ( ) 或 s t r ( ) 方 法 : s t r ( s o u p ) # I l i n k e d t o e x a m p l e . c o m u n i c o d e ( s o u p . a ) # u I l i n k e d t o e x a m p l e . c o m s t r ( ) 方 法 返 回 U T F 8 编 码 的 字 符 串 , 可 以 指 定 编 码 的 设 置 . 还 可 以 调 用 e n c o d e ( ) 方 法 获 得 字 节 码 或 调 用 d e c o d e ( ) 方 法 获 得 U n i c o d e . 输 出 格 式 ¶ B e a u t i f u l S o u p 输 出 是 会 将 H T M L 中 的 特 殊 字 符 转 换 成 U n i c o d e , 比 如 “ ” : s o u p = B e a u t i f u l S o u p ( D a m m i t ! h e s a i d . ) u n i c o d e ( s o u p ) # u \ \ u 2 0 1 c D a m m i t ! \ \ u 2 0 1 d h e s a i d . 如 果 将 文 档 转 换 成 字 符 串 , U n i c o d e 编 码 会 被 编 码 成 U T F 8 . 这 样 就 无 法 正 确 显 示 H T M L 特 殊 字 符 了 : s t r ( s o u p ) # \ \ x e 2 \ \ x 8 0 \ \ x 9 c D a m m i t ! \ \ x e 2 \ \ x 8 0 \ \ x 9 d h e s a i d . g e t _ t e x t ( ) ¶ 如 果 只 想 得 到 t a g 中 包 含 的 文 本 内 容 , 那 么 可 以 调 用 g e t _ t e x t ( ) 方 法 , 这 个 方 法 获 取 到 t a g 中 包 含 的 所 有 文 版 内 容 包 括 子 孙 t a g 中 的 内 容 , 并 将 结 果 作 为 U n i c o d e 字 符 串 返 回 : m a r k u p = \ \ n I l i n k e d t o e x a m p l e . c o m \ \ n s o u p = B e a u t i f u l S o u p ( m a r k u p ) s o u p . g e t _ t e x t ( ) u \ \ n I l i n k e d t o e x a m p l e . c o m \ \ n s o u p . i . g e t _ t e x t ( ) u e x a m p l e . c o m 可 以 通 过 参 数 指 定 t a g 的 文 本 内 容 的 分 隔 符 : # s o u p . g e t _ t e x t ( | ) u \ \ n I l i n k e d t o | e x a m p l e . c o m | \ \ n 还 可 以 去 除 获 得 文 本 内 容 的 前 后 空 白 : # s o u p . g e t _ t e x t ( | , s t r i p = T r u e ) u I l i n k e d t o | e x a m p l e . c o m 或 者 使 用 . s t r i p p e d _ s t r i n g s 生 成 器 , 获 得 文 本 列 表 后 手 动 处 理 列 表 : [ t e x t f o r t e x t i n s o u p . s t r i p p e d _ s t r i n g s ] # [ u I l i n k e d t o , u e x a m p l e . c o m ] 指 定 文 档 解 析 器 ¶ 如 果 仅 是 想 要 解 析 H T M L 文 档 , 只 要 用 文 档 创 建 B e a u t i f u l S o u p 对 象 就 可 以 了 . B e a u t i f u l S o u p 会 自 动 选 择 一 个 解 析 器 来 解 析 文 档 . 但 是 还 可 以 通 过 参 数 指 定 使 用 那 种 解 析 器 来 解 析 当 前 文 档 . B e a u t i f u l S o u p 第 一 个 参 数 应 该 是 要 被 解 析 的 文 档 字 符 串 或 是 文 件 句 柄 , 第 二 个 参 数 用 来 标 识 怎 样 解 析 文 档 . 如 果 第 二 个 参 数 为 空 , 那 么 B e a u t i f u l S o u p 根 据 当 前 系 统 安 装 的 库 自 动 选 择 解 析 器 , 解 析 器 的 优 先 数 序 : l x m l , h t m l 5 l i b , P y t h o n 标 准 库 . 在 下 面 两 种 条 件 下 解 析 器 优 先 顺 序 会 变 化 : 要 解 析 的 文 档 是 什 么 类 型 : 目 前 支 持 , “ h t m l ” , “ x m l ” , 和 “ h t m l 5 ” 指 定 使 用 哪 种 解 析 器 : 目 前 支 持 , “ l x m l ” , “ h t m l 5 l i b ” , 和 “ h t m l . p a r s e r ” 安 装 解 析 器 章 节 介 绍 了 可 以 使 用 哪 种 解 析 器 , 以 及 如 何 安 装 . 如 果 指 定 的 解 析 器 没 有 安 装 , B e a u t i f u l S o u p 会 自 动 选 择 其 它 方 案 . 目 前 只 有 l x m l 解 析 器 支 持 X M L 文 档 的 解 析 , 在 没 有 安 装 l x m l 库 的 情 况 下 , 创 建 b e a u t i f u l s o u p 对 象 时 无 论 是 否 指 定 使 用 l x m l , 都 无 法 得 到 解 析 后 的 对 象 解 析 器 之 间 的 区 别 ¶ B e a u t i f u l S o u p 为 不 同 的 解 析 器 提 供 了 相 同 的 接 口 , 但 解 析 器 本 身 时 有 区 别 的 . 同 一 篇 文 档 被 不 同 的 解 析 器 解 析 后 可 能 会 生 成 不 同 结 构 的 树 型 文 档 . 区 别 最 大 的 是 H T M L 解 析 器 和 X M L 解 析 器 , 看 下 面 片 段 被 解 析 成 H T M L 结 构 : B e a u t i f u l S o u p ( ) # 因 为 空 标 签 不 符 合 H T M L 标 准 , 所 以 解 析 器 把 它 解 析 成 同 样 的 文 档 使 用 X M L 解 析 如 下 ( 解 析 X M L 需 要 安 装 l x m l 库 ) . 注 意 , 空 标 签 依 然 被 保 留 , 并 且 文 档 前 添 加 了 X M L 头 , 而 不 是 被 包 含 在 标 签 内 : B e a u t i f u l S o u p ( , x m l ) # # H T M L 解 析 器 之 间 也 有 区 别 , 如 果 被 解 析 的 H T M L 文 档 是 标 准 格 式 , 那 么 解 析 器 之 间 没 有 任 何 差 别 , 只 是 解 析 速 度 不 同 , 结 果 都 会 返 回 正 确 的 文 档 树 . 但 是 如 果 被 解 析 文 档 不 是 标 准 格 式 , 那 么 不 同 的 解 析 器 返 回 结 果 可 能 不 同 . 下 面 例 子 中 , 使 用 l x m l 解 析 错 误 格 式 的 文 档 , 结 果 标 签 被 直 接 忽 略 掉 了 : B e a u t i f u l S o u p ( , l x m l ) # 使 用 h t m l 5 l i b 库 解 析 相 同 文 档 会 得 到 不 同 的 结 果 : B e a u t i f u l S o u p ( , h t m l 5 l i b ) # h t m l 5 l i b 库 没 有 忽 略 掉 标 签 , 而 是 自 动 补 全 了 标 签 , 还 给 文 档 树 添 加 了 标 签 . 使 用 p y h t o n 内 置 库 解 析 结 果 如 下 : B e a u t i f u l S o u p ( , h t m l . p a r s e r ) # 与 l x m l [ 7 ] 库 类 似 的 , P y t h o n 内 置 库 忽 略 掉 了 标 签 , 与 h t m l 5 l i b 库 不 同 的 是 标 准 库 没 有 尝 试 创 建 符 合 标 准 的 文 档 格 式 或 将 文 档 片 段 包 含 在 标 签 内 , 与 l x m l 不 同 的 是 标 准 库 甚 至 连 标 签 都 没 有 尝 试 去 添 加 . 因 为 文 档 片 段 “ ” 是 错 误 格 式 , 所 以 以 上 解 析 方 式 都 能 算 作 ” 正 确 ” , h t m l 5 l i b 库 使 用 的 是 H T M L 5 的 部 分 标 准 , 所 以 最 接 近 ” 正 确 ” . 不 过 所 有 解 析 器 的 结 构 都 能 够 被 认 为 是 ” 正 常 ” 的 . 不 同 的 解 析 器 可 能 影 响 代 码 执 行 结 果 , 如 果 在 分 发 给 别 人 的 代 码 中 使 用 了 B e a u t i f u l S o u p , 那 么 最 好 注 明 使 用 了 哪 种 解 析 器 , 以 减 少 不 必 要 的 麻 烦 . 编 码 ¶ 任 何 H T M L 或 X M L 文 档 都 有 自 己 的 编 码 方 式 , 比 如 A S C I I 或 U T F 8 , 但 是 使 用 B e a u t i f u l S o u p 解 析 后 , 文 档 都 被 转 换 成 了 U n i c o d e : m a r k u p = S a c r \ \ x c 3 \ \ x a 9 b l e u ! s o u p = B e a u t i f u l S o u p ( m a r k u p ) s o u p . h 1 # S a c r é b l e u ! s o u p . h 1 . s t r i n g # u S a c r \ \ x e 9 b l e u ! 这 不 是 魔 术 ( 但 很 神 奇 ) , B e a u t i f u l S o u p 用 了 编 码 自 动 检 测 子 库 来 识 别 当 前 文 档 编 码 并 转 换 成 U n i c o d e 编 码 . B e a u t i f u l S o u p 对 象 的 . o r i g i n a l _ e n c o d i n g 属 性 记 录 了 自 动 识 别 编 码 的 结 果 : s o u p . o r i g i n a l _ e n c o d i n g u t f 8 编 码 自 动 检 测 功 能 大 部 分 时 候 都 能 猜 对 编 码 格 式 , 但 有 时 候 也 会 出 错 . 有 时 候 即 使 猜 测 正 确 , 也 是 在 逐 个 字 节 的 遍 历 整 个 文 档 后 才 猜 对 的 , 这 样 很 慢 . 如 果 预 先 知 道 文 档 编 码 , 可 以 设 置 编 码 参 数 来 减 少 自 动 检 查 编 码 出 错 的 概 率 并 且 提 高 文 档 解 析 速 度 . 在 创 建 B e a u t i f u l S o u p 对 象 的 时 候 设 置 f r o m _ e n c o d i n g 参 数 . 下 面 一 段 文 档 用 了 I S O 8 8 5 9 8 编 码 方 式 , 这 段 文 档 太 短 , 结 果 B e a u t i f u l S o u p 以 为 文 档 是 用 I S O 8 8 5 9 7 编 码 : m a r k u p = b \ \ x e d \ \ x e 5 \ \ x e c \ \ x f 9 s o u p = B e a u t i f u l S o u p ( m a r k u p ) s o u p . h 1 h 1 > ν ε μ ω h 1 > s o u p . o r i g i n a l _ e n c o d i n g I S O 8 8 5 9 7 通 过 传 入 f r o m _ e n c o d i n g 参 数 来 指 定 编 码 方 式 : s o u p = B e a u t i f u l S o u p ( m a r k u p , f r o m _ e n c o d i n g = i s o 8 8 5 9 8 ) s o u p . h 1 h 1 > ם ו ל ש h 1 > s o u p . o r i g i n a l _ e n c o d i n g i s o 8 8 5 9 8 如 果 仅 知 道 文 档 采 用 了 U n i c o d e 编 码 , 但 不 知 道 具 体 编 码 . 可 以 先 自 己 猜 测 , 猜 测 错 误 ( 依 旧 是 乱 码 ) 时 , 可 以 把 错 误 编 码 作 为 e x c l u d e _ e n c o d i n g s 参 数 , 这 样 文 档 就 不 会 尝 试 使 用 这 种 编 码 了 解 码 了 . 译 者 备 注 : 在 没 有 指 定 编 码 的 情 况 下 , B S 会 自 己 猜 测 编 码 , 把 不 正 确 的 编 码 排 除 掉 , B S 就 更 容 易 猜 到 正 确 编 码 . s o u p = B e a u t i f u l S o u p ( m a r k u p , e x c l u d e _ e n c o d i n g s = [ I S O 8 8 5 9 7 ] ) s o u p . h 1 h 1 > ם ו ל ש h 1 > s o u p . o r i g i n a l _ e n c o d i n g W I N D O W S 1 2 5 5 猜 测 结 果 是 W i n d o w s 1 2 5 5 编 码 , 猜 测 结 果 可 能 不 够 准 确 , 但 是 W i n d o w s 1 2 5 5 编 码 是 I S O 8 8 5 9 8 的 扩 展 集 , 所 以 猜 测 结 果 已 经 十 分 接 近 了 , 并 且 不 影 响 使 用 . ( e x c l u d e _ e n c o d i n g s 参 数 是 4 . 4 . 0 版 本 的 新 功 能 ) 少 数 情 况 下 ( 通 常 是 U T F 8 编 码 的 文 档 中 包 含 了 其 它 编 码 格 式 的 文 件 ) , 想 获 得 正 确 的 U n i c o d e 编 码 就 不 得 不 将 文 档 中 少 数 特 殊 编 码 字 符 替 换 成 特 殊 U n i c o d e 编 码 , “ R E P L A C E M E N T C H A R A C T E R ” ( U + F F F D , � ) [ 9 ] . 如 果 B e a u t i f u S o u p 猜 测 文 档 编 码 时 作 了 特 殊 字 符 的 替 换 , 那 么 B e a u t i f u l S o u p 会 把 U n i c o d e D a m m i t 或 B e a u t i f u l S o u p 对 象 的 . c o n t a i n s _ r e p l a c e m e n t _ c h a r a c t e r s 属 性 标 记 为 T r u e . 这 样 就 可 以 知 道 当 前 文 档 进 行 U n i c o d e 编 码 后 丢 失 了 一 部 分 特 殊 内 容 字 符 . 如 果 文 档 中 包 含 � 而 . c o n t a i n s _ r e p l a c e m e n t _ c h a r a c t e r s 属 性 是 F a l s e , 则 表 示 � 就 是 文 档 中 原 来 的 字 符 , 不 是 转 码 失 败 . 输 出 编 码 ¶ 通 过 B e a u t i f u l S o u p 输 出 文 档 时 , 不 管 输 入 文 档 是 什 么 编 码 方 式 , 输 出 编 码 均 为 U T F 8 编 码 , 下 面 例 子 输 入 文 档 是 L a t i n 1 编 码 : m a r k u p = b S a c r \ \ x e 9 b l e u ! s o u p = B e a u t i f u l S o u p ( m a r k u p ) p r i n t ( s o u p . p r e t t i f y ( ) ) # # # # # # # S a c r é b l e u ! # # # 注 意 , 输 出 文 档 中 的 标 签 的 编 码 设 置 已 经 修 改 成 了 与 输 出 编 码 一 致 的 U T F 8 . 如 果 不 想 用 U T F 8 编 码 输 出 , 可 以 将 编 码 方 式 传 入 p r e t t i f y ( ) 方 法 : p r i n t ( s o u p . p r e t t i f y ( l a t i n 1 ) ) # # # # . . . 还 可 以 调 用 B e a u t i f u l S o u p 对 象 或 任 意 节 点 的 e n c o d e ( ) 方 法 , 就 像 P y t h o n 的 字 符 串 调 用 e n c o d e ( ) 方 法 一 样 : s o u p . p . e n c o d e ( l a t i n 1 ) # S a c r \ \ x e 9 b l e u ! s o u p . p . e n c o d e ( u t f 8 ) # S a c r \ \ x c 3 \ \ x a 9 b l e u ! 如 果 文 档 中 包 含 当 前 编 码 不 支 持 的 字 符 , 那 么 这 些 字 符 将 被 转 换 成 一 系 列 X M L 特 殊 字 符 引 用 , 下 面 例 子 中 包 含 了 U n i c o d e 编 码 字 符 S N O W M A N : m a r k u p = u \ \ N s n o w m a n _ s o u p = B e a u t i f u l S o u p ( m a r k u p ) t a g = s n o w m a n _ s o u p . b S N O W M A N 字 符 在 U T F 8 编 码 中 可 以 正 常 显 示 ( 看 上 去 像 是 ☃ ) , 但 有 些 编 码 不 支 持 S N O W M A N 字 符 , 比 如 I S O L a t i n 1 或 A S C I I , 那 么 在 这 些 编 码 中 S N O W M A N 字 符 会 被 转 换 成 “ p r i n t t a g . e n c o d e ( a s c i i ) # U n i c o d e , D a m m i t ! ( 乱 码 , 靠 ! ) ¶ 译 者 备 注 : U n i c o d e D a m m i t 是 B S 内 置 库 , 主 要 用 来 猜 测 文 档 编 码 . 编 码 自 动 检 测 功 能 可 以 在 B e a u t i f u l S o u p 以 外 使 用 , 检 测 某 段 未 知 编 码 时 , 可 以 使 用 这 个 方 法 : f r o m b s 4 i m p o r t U n i c o d e D a m m i t d a m m i t = U n i c o d e D a m m i t ( S a c r \ \ x c 3 \ \ x a 9 b l e u ! ) p r i n t ( d a m m i t . u n i c o d e _ m a r k u p ) # S a c r é b l e u ! d a m m i t . o r i g i n a l _ e n c o d i n g # u t f 8 如 果 P y t h o n 中 安 装 了 c h a r d e t 或 c c h a r d e t 那 么 编 码 检 测 功 能 的 准 确 率 将 大 大 提 高 . 输 入 的 字 符 越 多 , 检 测 结 果 越 精 确 , 如 果 事 先 猜 测 到 一 些 可 能 编 码 , 那 么 可 以 将 猜 测 的 编 码 作 为 参 数 , 这 样 将 优 先 检 测 这 些 编 码 : d a m m i t = U n i c o d e D a m m i t ( S a c r \ \ x e 9 b l e u ! , [ l a t i n 1 , i s o 8 8 5 9 1 ] ) p r i n t ( d a m m i t . u n i c o d e _ m a r k u p ) # S a c r é b l e u ! d a m m i t . o r i g i n a l _ e n c o d i n g # l a t i n 1 编 码 自 动 检 测 功 能 中 有 2 项 功 能 是 B e a u t i f u l S o u p 库 中 用 不 到 的 智 能 引 号 ¶ 使 用 U n i c o d e 时 , B e a u t i f u l S o u p 还 会 智 能 的 把 引 号 [ 1 0 ] 转 换 成 H T M L 或 X M L 中 的 特 殊 字 符 : m a r k u p = b I j u s t \ \ x 9 3 l o v e \ \ x 9 4 M i c r o s o f t W o r d \ \ x 9 2 s s m a r t q u o t e s U n i c o d e D a m m i t ( m a r k u p , [ w i n d o w s 1 2 5 2 ] , s m a r t _ q u o t e s _ t o = h t m l ) . u n i c o d e _ m a r k u p # u I j u s t l o v e M i c r o s o f t W o r d s s m a r t q u o t e s U n i c o d e D a m m i t ( m a r k u p , [ w i n d o w s 1 2 5 2 ] , s m a r t _ q u o t e s _ t o = x m l ) . u n i c o d e _ m a r k u p # u I j u s t l o v e M i c r o s o f t W o r d s s m a r t q u o t e s 也 可 以 把 引 号 转 换 为 A S C I I 码 : U n i c o d e D a m m i t ( m a r k u p , [ w i n d o w s 1 2 5 2 ] , s m a r t _ q u o t e s _ t o = a s c i i ) . u n i c o d e _ m a r k u p # u I j u s t l o v e M i c r o s o f t W o r d \ \ s s m a r t q u o t e s 很 有 用 的 功 能 , 但 是 B e a u t i f u l S o u p 没 有 使 用 这 种 方 式 . 默 认 情 况 下 , B e a u t i f u l S o u p 把 引 号 转 换 成 U n i c o d e : U n i c o d e D a m m i t ( m a r k u p , [ w i n d o w s 1 2 5 2 ] ) . u n i c o d e _ m a r k u p # u I j u s t \ \ u 2 0 1 c l o v e \ \ u 2 0 1 d M i c r o s o f t W o r d \ \ u 2 0 1 9 s s m a r t q u o t e s 矛 盾 的 编 码 ¶ 有 时 文 档 的 大 部 分 都 是 用 U T F 8 , 但 同 时 还 包 含 了 W i n d o w s 1 2 5 2 编 码 的 字 符 , 就 像 微 软 的 智 能 引 号 [ 1 0 ] 一 样 . 一 些 包 含 多 个 信 息 的 来 源 网 站 容 易 出 现 这 种 情 况 . U n i c o d e D a m m i t . d e t w i n g l e ( ) 方 法 可 以 把 这 类 文 档 转 换 成 纯 U T F 8 编 码 格 式 , 看 个 简 单 的 例 子 : s n o w m e n = ( u \ \ N * 3 ) q u o t e = ( u \ \ N I l i k e s n o w m e n ! \ \ N ) d o c = s n o w m e n . e n c o d e ( u t f 8 ) + q u o t e . e n c o d e ( w i n d o w s _ 1 2 5 2 ) 这 段 文 档 很 杂 乱 , s n o w m e n 是 U T F 8 编 码 , 引 号 是 W i n d o w s 1 2 5 2 编 码 , 直 接 输 出 时 不 能 同 时 显 示 s n o w m e n 和 引 号 , 因 为 它 们 编 码 不 同 : p r i n t ( d o c ) # ☃ ☃ ☃ � I l i k e s n o w m e n ! � p r i n t ( d o c . d e c o d e ( w i n d o w s 1 2 5 2 ) ) # â ˜ ƒ â ˜ ƒ â ˜ ƒ “ I l i k e s n o w m e n ! ” 如 果 对 这 段 文 档 用 U T F 8 解 码 就 会 得 到 U n i c o d e D e c o d e E r r o r 异 常 , 如 果 用 W i n d o w s 1 2 5 2 解 码 就 回 得 到 一 堆 乱 码 . 幸 好 , U n i c o d e D a m m i t . d e t w i n g l e ( ) 方 法 会 把 这 段 字 符 串 转 换 成 U T F 8 编 码 , 允 许 我 们 同 时 显 示 出 文 档 中 的 s n o w m e n 和 引 号 : n e w _ d o c = U n i c o d e D a m m i t . d e t w i n g l e ( d o c ) p r i n t ( n e w _ d o c . d e c o d e ( u t f 8 ) ) # ☃ ☃ ☃ “ I l i k e s n o w m e n ! ” U n i c o d e D a m m i t . d e t w i n g l e ( ) 方 法 只 能 解 码 包 含 在 U T F 8 编 码 中 的 W i n d o w s 1 2 5 2 编 码 内 容 , 但 这 解 决 了 最 常 见 的 一 类 问 题 . 在 创 建 B e a u t i f u l S o u p 或 U n i c o d e D a m m i t 对 象 前 一 定 要 先 对 文 档 调 用 U n i c o d e D a m m i t . d e t w i n g l e ( ) 确 保 文 档 的 编 码 方 式 正 确 . 如 果 尝 试 去 解 析 一 段 包 含 W i n d o w s 1 2 5 2 编 码 的 U T F 8 文 档 , 就 会 得 到 一 堆 乱 码 , 比 如 : â ˜ ƒ â ˜ ƒ â ˜ ƒ “ I l i k e s n o w m e n ! ” . U n i c o d e D a m m i t . d e t w i n g l e ( ) 方 法 在 B e a u t i f u l S o u p 4 . 1 . 0 版 本 中 新 增 比 较 对 象 是 否 相 同 ¶ 两 个 N a v i g a b l e S t r i n g 或 T a g 对 象 具 有 相 同 的 H T M L 或 X M L 结 构 时 , B e a u t i f u l S o u p 就 判 断 这 两 个 对 象 相 同 . 这 个 例 子 中 , 2 个 标 签 在 B S 中 是 相 同 的 , 尽 管 他 们 在 文 档 树 的 不 同 位 置 , 但 是 具 有 相 同 的 表 象 : “ p i z z a ” m a r k u p = I w a n t p i z z a a n d m o r e p i z z a ! s o u p = B e a u t i f u l S o u p ( m a r k u p , h t m l . p a r s e r ) f i r s t _ b , s e c o n d _ b = s o u p . f i n d _ a l l ( b ) p r i n t f i r s t _ b = = s e c o n d _ b # T r u e p r i n t f i r s t _ b . p r e v i o u s _ e l e m e n t = = s e c o n d _ b . p r e v i o u s _ e l e m e n t # F a l s e 如 果 想 判 断 两 个 对 象 是 否 严 格 的 指 向 同 一 个 对 象 可 以 通 过 i s 来 判 断 p r i n t f i r s t _ b i s s e c o n d _ b # F a l s e 复 制 B e a u t i f u l S o u p 对 象 ¶ c o p y . c o p y ( ) 方 法 可 以 复 制 任 意 T a g 或 N a v i g a b l e S t r i n g 对 象 i m p o r t c o p y p _ c o p y = c o p y . c o p y ( s o u p . p ) p r i n t p _ c o p y # I w a n t p i z z a a n d m o r e p i z z a ! 复 制 后 的 对 象 跟 与 对 象 是 相 等 的 , 但 指 向 不 同 的 内 存 地 址 p r i n t s o u p . p = = p _ c o p y # T r u e p r i n t s o u p . p i s p _ c o p y # F a l s e 源 对 象 和 复 制 对 象 的 区 别 是 源 对 象 在 文 档 树 中 , 而 复 制 后 的 对 象 是 独 立 的 还 没 有 添 加 到 文 档 树 中 . 复 制 后 对 象 的 效 果 跟 调 用 了 e x t r a c t ( ) 方 法 相 同 . p r i n t p _ c o p y . p a r e n t # N o n e 这 是 因 为 相 等 的 对 象 不 能 同 时 插 入 相 同 的 位 置 解 析 部 分 文 档 ¶ 如 果 仅 仅 因 为 想 要 查 找 文 档 中 的 标 签 而 将 整 片 文 档 进 行 解 析 , 实 在 是 浪 费 内 存 和 时 间 . 最 快 的 方 法 是 从 一 开 始 就 把 标 签 以 外 的 东 西 都 忽 略 掉 . S o u p S t r a i n e r 类 可 以 定 义 文 档 的 某 段 内 容 , 这 样 搜 索 文 档 时 就 不 必 先 解 析 整 篇 文 档 , 只 会 解 析 在 S o u p S t r a i n e r 中 定 义 过 的 文 档 . 创 建 一 个 S o u p S t r a i n e r 对 象 并 作 为 p a r s e _ o n l y 参 数 给 B e a u t i f u l S o u p 的 构 造 方 法 即 可 . S o u p S t r a i n e r ¶ S o u p S t r a i n e r 类 接 受 与 典 型 搜 索 方 法 相 同 的 参 数 ： n a m e , a t t r s , r e c u r s i v e , s t r i n g , * * k w a r g s 。 下 面 举 例 说 明 三 种 S o u p S t r a i n e r 对 象 ： f r o m b s 4 i m p o r t S o u p S t r a i n e r o n l y _ a _ t a g s = S o u p S t r a i n e r ( a ) o n l y _ t a g s _ w i t h _ i d _ l i n k 2 = S o u p S t r a i n e r ( i d = l i n k 2 ) d e f i s _ s h o r t _ s t r i n g ( s t r i n g ) : r e t u r n l e n ( s t r i n g ) 1 0 o n l y _ s h o r t _ s t r i n g s = S o u p S t r a i n e r ( s t r i n g = i s _ s h o r t _ s t r i n g ) 再 拿 “ 爱 丽 丝 ” 文 档 来 举 例 ， 来 看 看 使 用 三 种 S o u p S t r a i n e r 对 象 做 参 数 会 有 什 么 不 同 : h t m l _ d o c = T h e D o r m o u s e s s t o r y T h e D o r m o u s e s s t o r y O n c e u p o n a t i m e t h e r e w e r e t h r e e l i t t l e s i s t e r s ; a n d t h e i r n a m e s w e r e E l s i e , L a c i e a n d T i l l i e ; a n d t h e y l i v e d a t t h e b o t t o m o f a w e l l . . . . p r i n t ( B e a u t i f u l S o u p ( h t m l _ d o c , h t m l . p a r s e r , p a r s e _ o n l y = o n l y _ a _ t a g s ) . p r e t t i f y ( ) ) # # E l s i e # # # L a c i e # # # T i l l i e # p r i n t ( B e a u t i f u l S o u p ( h t m l _ d o c , h t m l . p a r s e r , p a r s e _ o n l y = o n l y _ t a g s _ w i t h _ i d _ l i n k 2 ) . p r e t t i f y ( ) ) # # L a c i e # p r i n t ( B e a u t i f u l S o u p ( h t m l _ d o c , h t m l . p a r s e r , p a r s e _ o n l y = o n l y _ s h o r t _ s t r i n g s ) . p r e t t i f y ( ) ) # E l s i e # , # L a c i e # a n d # T i l l i e # . . . # 还 可 以 将 S o u p S t r a i n e r 作 为 参 数 传 入 搜 索 文 档 树 中 提 到 的 方 法 . 这 可 能 不 是 个 常 用 用 法 , 所 以 还 是 提 一 下 : s o u p = B e a u t i f u l S o u p ( h t m l _ d o c ) s o u p . f i n d _ a l l ( o n l y _ s h o r t _ s t r i n g s ) # [ u \ \ n \ \ n , u \ \ n \ \ n , u E l s i e , u , \ \ n , u L a c i e , u a n d \ \ n , u T i l l i e , # u \ \ n \ \ n , u . . . , u \ \ n ] 常 见 问 题 ¶ 代 码 诊 断 ¶ 如 果 想 知 道 B e a u t i f u l S o u p 到 底 怎 样 处 理 一 份 文 档 , 可 以 将 文 档 传 入 d i a g n o s e ( ) 方 法 ( B e a u t i f u l S o u p 4 . 2 . 0 中 新 增 ) , B e a u t i f u l S o u p 会 输 出 一 份 报 告 , 说 明 不 同 的 解 析 器 会 怎 样 处 理 这 段 文 档 , 并 标 出 当 前 的 解 析 过 程 会 使 用 哪 种 解 析 器 : f r o m b s 4 . d i a g n o s e i m p o r t d i a g n o s e d a t a = o p e n ( b a d . h t m l ) . r e a d ( ) d i a g n o s e ( d a t a ) # D i a g n o s t i c r u n n i n g o n B e a u t i f u l S o u p 4 . 2 . 0 # P y t h o n v e r s i o n 2 . 7 . 3 ( d e f a u l t , A u g 1 2 0 1 2 , 0 5 : 1 6 : 0 7 ) # I n o t i c e d t h a t h t m l 5 l i b i s n o t i n s t a l l e d . I n s t a l l i n g i t m a y h e l p . # F o u n d l x m l v e r s i o n 2 . 3 . 2 . 0 # # T r y i n g t o p a r s e y o u r d a t a w i t h h t m l . p a r s e r # H e r e s w h a t h t m l . p a r s e r d i d w i t h t h e d o c u m e n t : # . . . d i a g n o s e ( ) 方 法 的 输 出 结 果 可 能 帮 助 你 找 到 问 题 的 原 因 , 如 果 不 行 , 还 可 以 把 结 果 复 制 出 来 以 便 寻 求 他 人 的 帮 助 文 档 解 析 错 误 ¶ 文 档 解 析 错 误 有 两 种 . 一 种 是 崩 溃 , B e a u t i f u l S o u p 尝 试 解 析 一 段 文 档 结 果 却 抛 除 了 异 常 , 通 常 是 H T M L P a r s e r . H T M L P a r s e E r r o r . 还 有 一 种 异 常 情 况 , 是 B e a u t i f u l S o u p 解 析 后 的 文 档 树 看 起 来 与 原 来 的 内 容 相 差 很 多 . 这 些 错 误 几 乎 都 不 是 B e a u t i f u l S o u p 的 原 因 , 这 不 会 是 因 为 B e a u t i f u l S o u p 的 代 码 写 的 太 优 秀 , 而 是 因 为 B e a u t i f u l S o u p 没 有 包 含 任 何 文 档 解 析 代 码 . 异 常 产 生 自 被 依 赖 的 解 析 器 , 如 果 解 析 器 不 能 很 好 的 解 析 出 当 前 的 文 档 , 那 么 最 好 的 办 法 是 换 一 个 解 析 器 . 更 多 细 节 查 看 安 装 解 析 器 章 节 . 最 常 见 的 解 析 错 误 是 H T M L P a r s e r . H T M L P a r s e E r r o r : m a l f o r m e d s t a r t t a g 和 H T M L P a r s e r . H T M L P a r s e E r r o r : b a d e n d t a g . 这 都 是 由 P y t h o n 内 置 的 解 析 器 引 起 的 , 解 决 方 法 是 安 装 l x m l 或 h t m l 5 l i b 最 常 见 的 异 常 现 象 是 当 前 文 档 找 不 到 指 定 的 T a g , 而 这 个 T a g 光 是 用 眼 睛 就 足 够 发 现 的 了 . f i n d _ a l l ( ) 方 法 返 回 [ ] , 而 f i n d ( ) 方 法 返 回 N o n e . 这 是 P y t h o n 内 置 解 析 器 的 又 一 个 问 题 : 解 析 器 会 跳 过 那 些 它 不 知 道 的 t a g . 解 决 方 法 还 是 安 装 l x m l 或 h t m l 5 l i b 版 本 错 误 ¶ S y n t a x E r r o r : I n v a l i d s y n t a x ( 异 常 位 置 在 代 码 行 : R O O T _ T A G _ N A M E = u [ d o c u m e n t ] ) , 因 为 P y t h o n 2 语 法 的 代 码 ( 没 有 经 过 迁 移 ) 直 接 在 P y t h o n 3 中 运 行 I m p o r t E r r o r : N o m o d u l e n a m e d H T M L P a r s e r 因 为 在 P y t h o n 3 中 执 行 P y t h o n 2 版 本 的 B e a u t i f u l S o u p I m p o r t E r r o r : N o m o d u l e n a m e d h t m l . p a r s e r 因 为 在 P y t h o n 2 中 执 行 P y t h o n 3 版 本 的 B e a u t i f u l S o u p I m p o r t E r r o r : N o m o d u l e n a m e d B e a u t i f u l S o u p 因 为 在 没 有 安 装 B e a u t i f u l S o u p 3 库 的 P y t h o n 环 境 下 执 行 代 码 , 或 忘 记 了 B e a u t i f u l S o u p 4 的 代 码 需 要 从 b s 4 包 中 引 入 I m p o r t E r r o r : N o m o d u l e n a m e d b s 4 因 为 当 前 P y t h o n 环 境 下 还 没 有 安 装 B e a u t i f u l S o u p 4 解 析 成 X M L ¶ 默 认 情 况 下 , B e a u t i f u l S o u p 会 将 当 前 文 档 作 为 H T M L 格 式 解 析 , 如 果 要 解 析 X M L 文 档 , 要 在 B e a u t i f u l S o u p 构 造 方 法 中 加 入 第 二 个 参 数 “ x m l ” : s o u p = B e a u t i f u l S o u p ( m a r k u p , x m l ) 当 然 , 还 需 要 安 装 l x m l 解 析 器 的 错 误 ¶ 如 果 同 样 的 代 码 在 不 同 环 境 下 结 果 不 同 , 可 能 是 因 为 两 个 环 境 下 使 用 不 同 的 解 析 器 造 成 的 . 例 如 这 个 环 境 中 安 装 了 l x m l , 而 另 一 个 环 境 中 只 有 h t m l 5 l i b , 解 析 器 之 间 的 区 别 中 说 明 了 原 因 . 修 复 方 法 是 在 B e a u t i f u l S o u p 的 构 造 方 法 中 中 指 定 解 析 器 因 为 H T M L 标 签 是 大 小 写 敏 感 的 , 所 以 3 种 解 析 器 再 出 来 文 档 时 都 将 t a g 和 属 性 转 换 成 小 写 . 例 如 文 档 中 的 会 被 转 换 为 . 如 果 想 要 保 留 t a g 的 大 写 的 话 , 那 么 应 该 将 文 档 解 析 成 X M L . 杂 项 错 误 ¶ U n i c o d e E n c o d e E r r o r : c h a r m a p c o d e c c a n t e n c o d e c h a r a c t e r u \ \ x f o o i n p o s i t i o n b a r ( 或 其 它 类 型 的 U n i c o d e E n c o d e E r r o r ) 的 错 误 , 主 要 是 两 方 面 的 错 误 ( 都 不 是 B e a u t i f u l S o u p 的 原 因 ) , 第 一 种 是 正 在 使 用 的 终 端 ( c o n s o l e ) 无 法 显 示 部 分 U n i c o d e , 参 考 P y t h o n w i k i , 第 二 种 是 向 文 件 写 入 时 , 被 写 入 文 件 不 支 持 部 分 U n i c o d e , 这 时 只 要 用 u . e n c o d e ( u t f 8 ) 方 法 将 编 码 转 换 为 U T F 8 . K e y E r r o r : [ a t t r ] 因 为 调 用 t a g [ a t t r ] 方 法 而 引 起 , 因 为 这 个 t a g 没 有 定 义 该 属 性 . 出 错 最 多 的 是 K e y E r r o r : h r e f 和 K e y E r r o r : c l a s s . 如 果 不 确 定 某 个 属 性 是 否 存 在 时 , 用 t a g . g e t ( a t t r ) 方 法 去 获 取 它 , 跟 获 取 P y t h o n 字 典 的 k e y 一 样 A t t r i b u t e E r r o r : R e s u l t S e t o b j e c t h a s n o a t t r i b u t e f o o 错 误 通 常 是 因 为 把 f i n d _ a l l ( ) 的 返 回 结 果 当 作 一 个 t a g 或 文 本 节 点 使 用 , 实 际 上 返 回 结 果 是 一 个 列 表 或 R e s u l t S e t 对 象 的 字 符 串 , 需 要 对 结 果 进 行 循 环 才 能 得 到 每 个 节 点 的 . f o o 属 性 . 或 者 使 用 f i n d ( ) 方 法 仅 获 取 到 一 个 节 点 A t t r i b u t e E r r o r : N o n e T y p e o b j e c t h a s n o a t t r i b u t e f o o 这 个 错 误 通 常 是 在 调 用 了 f i n d ( ) 方 法 后 直 节 点 取 某 个 属 性 . f o o 但 是 f i n d ( ) 方 法 并 没 有 找 到 任 何 结 果 , 所 以 它 的 返 回 值 是 N o n e . 需 要 找 出 为 什 么 f i n d ( ) 的 返 回 值 是 N o n e . 如 何 提 高 效 率 ¶ B e a u t i f u l S o u p 对 文 档 的 解 析 速 度 不 会 比 它 所 依 赖 的 解 析 器 更 快 , 如 果 对 计 算 时 间 要 求 很 高 或 者 计 算 机 的 时 间 比 程 序 员 的 时 间 更 值 钱 , 那 么 就 应 该 直 接 使 用 l x m l . 换 句 话 说 , 还 有 提 高 B e a u t i f u l S o u p 效 率 的 办 法 , 使 用 l x m l 作 为 解 析 器 . B e a u t i f u l S o u p 用 l x m l 做 解 析 器 比 用 h t m l 5 l i b 或 P y t h o n 内 置 解 析 器 速 度 快 很 多 . 安 装 c c h a r d e t 后 文 档 的 解 码 的 编 码 检 测 会 速 度 更 快 解 析 部 分 文 档 不 会 节 省 多 少 解 析 时 间 , 但 是 会 节 省 很 多 内 存 , 并 且 搜 索 时 也 会 变 得 更 快 . B e a u t i f u l S o u p 3 ¶ B e a u t i f u l S o u p 3 是 上 一 个 发 布 版 本 , 目 前 已 经 停 止 维 护 . B e a u t i f u l S o u p 3 库 目 前 已 经 被 几 个 主 要 的 l i n u x 平 台 添 加 到 源 里 : $ a p t g e t i n s t a l l P y t h o n b e a u t i f u l s o u p 在 P y P i 中 分 发 的 包 名 字 是 B e a u t i f u l S o u p : $ e a s y _ i n s t a l l B e a u t i f u l S o u p $ p i p i n s t a l l B e a u t i f u l S o u p 或 通 过 B e a u t i f u l S o u p 3 . 2 . 0 源 码 包 安 装 B e a u t i f u l S o u p 3 的 在 线 文 档 查 看 这 里 . 迁 移 到 B S 4 ¶ 只 要 一 个 小 变 动 就 能 让 大 部 分 的 B e a u t i f u l S o u p 3 代 码 使 用 B e a u t i f u l S o u p 4 的 库 和 方 法 — 修 改 B e a u t i f u l S o u p 对 象 的 引 入 方 式 : f r o m B e a u t i f u l S o u p i m p o r t B e a u t i f u l S o u p 修 改 为 : f r o m b s 4 i m p o r t B e a u t i f u l S o u p 如 果 代 码 抛 出 I m p o r t E r r o r 异 常 “ N o m o d u l e n a m e d B e a u t i f u l S o u p ” , 原 因 可 能 是 尝 试 执 行 B e a u t i f u l S o u p 3 , 但 环 境 中 只 安 装 了 B e a u t i f u l S o u p 4 库 如 果 代 码 跑 出 I m p o r t E r r o r 异 常 “ N o m o d u l e n a m e d b s 4 ” , 原 因 可 能 是 尝 试 运 行 B e a u t i f u l S o u p 4 的 代 码 , 但 环 境 中 只 安 装 了 B e a u t i f u l S o u p 3 . 虽 然 B S 4 兼 容 绝 大 部 分 B S 3 的 功 能 , 但 B S 3 中 的 大 部 分 方 法 已 经 不 推 荐 使 用 了 , 就 方 法 按 照 P E P 8 标 准 重 新 定 义 了 方 法 名 . 很 多 方 法 都 重 新 定 义 了 方 法 名 , 但 只 有 少 数 几 个 方 法 没 有 向 下 兼 容 . 上 述 内 容 就 是 B S 3 迁 移 到 B S 4 的 注 意 事 项 需 要 的 解 析 器 ¶ B e a u t i f u l S o u p 3 曾 使 用 P y t h o n 的 S G M L P a r s e r 解 析 器 , 这 个 模 块 在 P y t h o n 3 中 已 经 被 移 除 了 . B e a u t i f u l S o u p 4 默 认 使 用 系 统 的 h t m l . p a r s e r , 也 可 以 使 用 l x m l 或 h t m l 5 l i b 扩 展 库 代 替 . 查 看 安 装 解 析 器 章 节 因 为 解 析 器 h t m l . p a r s e r 与 S G M L P a r s e r 不 同 . B S 4 和 B S 3 处 理 相 同 的 文 档 会 产 生 不 同 的 对 象 结 构 . 使 用 l x m l 或 h t m l 5 l i b 解 析 文 档 的 时 候 , 如 果 添 加 了 h t m l . p a r s e r 参 数 , 解 析 的 对 象 又 回 发 生 变 化 . 如 果 发 生 了 这 种 情 况 , 只 能 修 改 对 应 的 处 文 档 结 果 处 理 代 码 了 . 方 法 名 的 变 化 ¶ r e n d e r C o n t e n t s e n c o d e _ c o n t e n t s r e p l a c e W i t h r e p l a c e _ w i t h r e p l a c e W i t h C h i l d r e n u n w r a p f i n d A l l f i n d _ a l l f i n d A l l N e x t f i n d _ a l l _ n e x t f i n d A l l P r e v i o u s f i n d _ a l l _ p r e v i o u s f i n d N e x t f i n d _ n e x t f i n d N e x t S i b l i n g f i n d _ n e x t _ s i b l i n g f i n d N e x t S i b l i n g s f i n d _ n e x t _ s i b l i n g s f i n d P a r e n t f i n d _ p a r e n t f i n d P a r e n t s f i n d _ p a r e n t s f i n d P r e v i o u s f i n d _ p r e v i o u s f i n d P r e v i o u s S i b l i n g f i n d _ p r e v i o u s _ s i b l i n g f i n d P r e v i o u s S i b l i n g s f i n d _ p r e v i o u s _ s i b l i n g s n e x t S i b l i n g n e x t _ s i b l i n g p r e v i o u s S i b l i n g p r e v i o u s _ s i b l i n g B e a u t i f u l S o u p 构 造 方 法 的 参 数 部 分 也 有 名 字 变 化 : B e a u t i f u l S o u p ( p a r s e O n l y T h e s e = . . . ) B e a u t i f u l S o u p ( p a r s e _ o n l y = . . . ) B e a u t i f u l S o u p ( f r o m E n c o d i n g = . . . ) B e a u t i f u l S o u p ( f r o m _ e n c o d i n g = . . . ) 为 了 适 配 P y t h o n 3 , 修 改 了 一 个 方 法 名 : T a g . h a s _ k e y ( ) T a g . h a s _ a t t r ( ) 修 改 了 一 个 属 性 名 , 让 它 看 起 来 更 专 业 点 : T a g . i s S e l f C l o s i n g T a g . i s _ e m p t y _ e l e m e n t 修 改 了 下 面 3 个 属 性 的 名 字 , 以 免 雨 P y t h o n 保 留 字 冲 突 . 这 些 变 动 不 是 向 下 兼 容 的 , 如 果 在 B S 3 中 使 用 了 这 些 属 性 , 那 么 在 B S 4 中 这 些 代 码 无 法 执 行 . U n i c o d e D a m m i t . U n i c o d e U n i c o d e D a m m i t . U n i c o d e _ m a r k u p ` ` T a g . n e x t T a g . n e x t _ e l e m e n t T a g . p r e v i o u s T a g . p r e v i o u s _ e l e m e n t 生 成 器 ¶ 将 下 列 生 成 器 按 照 P E P 8 标 准 重 新 命 名 , 并 转 换 成 对 象 的 属 性 : c h i l d G e n e r a t o r ( ) c h i l d r e n n e x t G e n e r a t o r ( ) n e x t _ e l e m e n t s n e x t S i b l i n g G e n e r a t o r ( ) n e x t _ s i b l i n g s p r e v i o u s G e n e r a t o r ( ) p r e v i o u s _ e l e m e n t s p r e v i o u s S i b l i n g G e n e r a t o r ( ) p r e v i o u s _ s i b l i n g s r e c u r s i v e C h i l d G e n e r a t o r ( ) d e s c e n d a n t s p a r e n t G e n e r a t o r ( ) p a r e n t s 所 以 迁 移 到 B S 4 版 本 时 要 替 换 这 些 代 码 : f o r p a r e n t i n t a g . p a r e n t G e n e r a t o r ( ) : . . . 替 换 为 : f o r p a r e n t i n t a g . p a r e n t s : . . . ( 两 种 调 用 方 法 现 在 都 能 使 用 ) B S 3 中 有 的 生 成 器 循 环 结 束 后 会 返 回 N o n e 然 后 结 束 . 这 是 个 b u g . 新 版 生 成 器 不 再 返 回 N o n e . B S 4 中 增 加 了 2 个 新 的 生 成 器 , . s t r i n g s 和 s t r i p p e d _ s t r i n g s . . s t r i n g s 生 成 器 返 回 N a v i g a b l e S t r i n g 对 象 , . s t r i p p e d _ s t r i n g s 方 法 返 回 去 除 前 后 空 白 的 P y t h o n 的 s t r i n g 对 象 . X M L ¶ B S 4 中 移 除 了 解 析 X M L 的 B e a u t i f u l S t o n e S o u p 类 . 如 果 要 解 析 一 段 X M L 文 档 , 使 用 B e a u t i f u l S o u p 构 造 方 法 并 在 第 二 个 参 数 设 置 为 “ x m l ” . 同 时 B e a u t i f u l S o u p 构 造 方 法 也 不 再 识 别 i s H T M L 参 数 . B e a u t i f u l S o u p 处 理 X M L 空 标 签 的 方 法 升 级 了 . 旧 版 本 中 解 析 X M L 时 必 须 指 明 哪 个 标 签 是 空 标 签 . 构 造 方 法 的 s e l f C l o s i n g T a g s 参 数 已 经 不 再 使 用 . 新 版 B e a u t i f u l S o u p 将 所 有 空 标 签 解 析 为 空 元 素 , 如 果 向 空 元 素 中 添 加 子 节 点 , 那 么 这 个 元 素 就 不 再 是 空 元 素 了 . 实 体 ¶ H T M L 或 X M L 实 体 都 会 被 解 析 成 U n i c o d e 字 符 , B e a u t i f u l S o u p 3 版 本 中 有 很 多 处 理 实 体 的 方 法 , 在 新 版 中 都 被 移 除 了 . B e a u t i f u l S o u p 构 造 方 法 也 不 再 接 受 s m a r t Q u o t e s T o 或 c o n v e r t E n t i t i e s 参 数 . 编 码 自 动 检 测 方 法 依 然 有 s m a r t _ q u o t e s _ t o 参 数 , 但 是 默 认 会 将 引 号 转 换 成 U n i c o d e . 内 容 配 置 项 H T M L _ E N T I T I E S , X M L _ E N T I T I E S 和 X H T M L _ E N T I T I E S 在 新 版 中 被 移 除 . 因 为 它 们 代 表 的 特 性 已 经 不 再 被 支 持 . 如 果 在 输 出 文 档 时 想 把 U n i c o d e 字 符 转 换 成 H T M L 实 体 , 而 不 是 输 出 成 U T F 8 编 码 , 那 就 需 要 用 到 输 出 格 式 的 方 法 . 迁 移 杂 项 ¶ T a g . s t r i n g 属 性 现 在 是 一 个 递 归 操 作 . 如 果 A 标 签 只 包 含 了 一 个 B 标 签 , 那 么 A 标 签 的 . s t r i n g 属 性 值 与 B 标 签 的 . s t r i n g 属 性 值 相 同 . 多 值 属 性 比 如 c l a s s 属 性 包 含 一 个 他 们 的 值 的 列 表 , 而 不 是 一 个 字 符 串 . 这 可 能 会 影 响 到 如 何 按 照 C S S 类 名 哦 搜 索 t a g . 如 果 使 用 f i n d * 方 法 时 同 时 传 入 了 s t r i n g 参 数 和 n a m e 参 数 . B e a u t i f u l S o u p 会 搜 索 指 定 n a m e 的 t a g , 并 且 这 个 t a g 的 T a g . s t r i n g 属 性 包 含 t e x t 参 数 的 内 容 . 结 果 中 不 会 包 含 字 符 串 本 身 . 旧 版 本 中 B e a u t i f u l S o u p 会 忽 略 掉 t a g 参 数 , 只 搜 索 t e x t 参 数 . B e a u t i f u l S o u p 构 造 方 法 不 再 支 持 m a r k u p M a s s a g e 参 数 . 现 在 由 解 析 器 负 责 文 档 的 解 析 正 确 性 . 很 少 被 用 到 的 几 个 解 析 器 方 法 在 新 版 中 被 移 除 , 比 如 I C a n t B e l i e v e I t s B e a u t i f u l S o u p 和 B e a u t i f u l S O A P . 现 在 由 解 析 器 完 全 负 责 如 何 解 释 模 糊 不 清 的 文 档 标 记 . p r e t t i f y ( ) 方 法 在 新 版 中 返 回 U n i c o d e 字 符 串 , 不 再 返 回 字 节 流 . 附 录 ¶ [ 1 ] B e a u t i f u l S o u p 的 g o o g l e 讨 论 组 不 是 很 活 跃 , 可 能 是 因 为 库 已 经 比 较 完 善 了 吧 , 但 是 作 者 还 是 会 很 热 心 的 尽 量 帮 你 解 决 问 题 的 . [ 2 ] ( 1 , 2 ) 文 档 被 解 析 成 树 形 结 构 , 所 以 下 一 步 解 析 过 程 应 该 是 当 前 节 点 的 子 节 点 [ 3 ] 过 滤 器 只 能 作 为 搜 索 文 档 的 参 数 , 或 者 说 应 该 叫 参 数 类 型 更 为 贴 切 , 原 文 中 用 了 f i l t e r 因 此 翻 译 为 过 滤 器 [ 4 ] 元 素 参 数 , H T M L 文 档 中 的 一 个 t a g 节 点 , 不 能 是 文 本 节 点 [ 5 ] ( 1 , 2 , 3 , 4 , 5 ) 采 用 先 序 遍 历 方 式 [ 6 ] ( 1 , 2 ) C S S 选 择 器 是 一 种 单 独 的 文 档 搜 索 语 法 , 参 考 h t t p : / / w w w . w 3 s c h o o l . c o m . c n / c s s / c s s _ s e l e c t o r _ t y p e . a s p [ 7 ] 原 文 写 的 是 h t m l 5 l i b , 译 者 觉 得 这 是 原 文 档 的 一 个 笔 误 [ 8 ] w r a p 含 有 包 装 , 打 包 的 意 思 , 但 是 这 里 的 包 装 不 是 在 外 部 包 装 而 是 将 当 前 t a g 的 内 部 内 容 包 装 在 一 个 t a g 里 . 包 装 原 来 内 容 的 新 t a g 依 然 在 执 行 w r a p ( ) 方 法 的 t a g 内 [ 9 ] 文 档 中 特 殊 编 码 字 符 被 替 换 成 特 殊 字 符 ( 通 常 是 � ) 的 过 程 是 B e a u t f u l S o u p 自 动 实 现 的 , 如 果 想 要 多 种 编 码 格 式 的 文 档 被 完 全 转 换 正 确 , 那 么 , 只 好 , 预 先 手 动 处 理 , 统 一 编 码 格 式 [ 1 0 ] ( 1 , 2 ) 智 能 引 号 , 常 出 现 在 m i c r o s o f t 的 w o r d 软 件 中 , 即 在 某 一 段 落 中 按 引 号 出 现 的 顺 序 每 个 引 号 都 被 自 动 转 换 为 左 引 号 , 或 右 引 号 . 原 文 : h t t p : / / w w w . c r u m m y . c o m / s o f t w a r e / B e a u t i f u l S o u p / b s 4 / d o c / 翻 译 : D e r o n W a n g 查 看 B e a u t i f u l S o u p 3 文 档 R e l a t e d T o p i c s D o c u m e n t a t i o n o v e r v i e w 快 速 搜 索 © 2 0 1 8 , D e r o n . | P o w e r e d b y S p h i n x 1 . 6 . 5 & A l a b a s t e r 0 . 7 . 1 0 | P a g e s o u r c e

做上本站友情链接,在您站上点击一次,即可自动秒收录并自动排在本站第一位！
<a href="https://www.badfl.com/" target="_blank">自动秒收录</a>