Python 爬虫
Python 爬虫是一种自动化获取网页内容的程序,它通常用于从网站中提取数据,如新闻、价格、评论等,以下是一个简单的 Python 爬虫示例,使用了requests
和BeautifulSoup
库来抓取网页内容并解析 HTML。
(图片来源网络,侵删)
安装依赖库
确保你已经安装了以下库:
pip install requests beautifulsoup4
示例代码
import requests from bs4 import BeautifulSoup 目标网址 url = 'https://example.com' 发送 HTTP 请求 response = requests.get(url) 检查请求是否成功 if response.status_code == 200: # 解析 HTML 内容 soup = BeautifulSoup(response.text, 'html.parser') # 提取所需信息,例如提取所有段落标签 <p> paragraphs = soup.find_all('p') # 打印提取到的内容 for p in paragraphs: print(p.get_text()) else: print("请求失败,状态码:", response.status_code)
单元测试
为了确保代码的正确性,我们可以编写一些单元测试,这里使用 Python 的内置unittest
模块。
(图片来源网络,侵删)
import unittest from unittest.mock import patch from your_crawler_module import fetch_data # 假设你的爬虫函数在名为 your_crawler_module 的模块中 class TestCrawler(unittest.TestCase): @patch('your_crawler_module.requests.get') def test_fetch_data(self, mock_get): # 模拟请求返回的数据 mock_get.return_value.status_code = 200 mock_get.return_value.text = '<html><body><p>Hello, World!</p></body></html>' # 调用你的爬虫函数 result = fetch_data('https://example.com') # 断言结果是否符合预期 self.assertEqual(result, ['Hello, World!']) if __name__ == '__main__': unittest.main()
这样,你就可以运行单元测试来验证你的爬虫代码是否正确。
(图片来源网络,侵删)
本文来源于互联网,如若侵权,请联系管理员删除,本文链接:https://www.9969.net/41768.html