Python 爬虫
Python 爬虫是一种自动化获取网页内容的程序，它通常用于从网站中提取数据，如新闻、价格、评论等，以下是一个简单的 Python 爬虫示例，使用了requests 和BeautifulSoup 库来抓取网页内容并解析 HTML。
（图片来源网络，侵删）
安装依赖库
确保你已经安装了以下库：
pip install requests beautifulsoup4
示例代码
import requests
from bs4 import BeautifulSoup
目标网址
url = 'https://example.com'
发送 HTTP 请求
response = requests.get(url)
检查请求是否成功
if response.status_code == 200:
# 解析 HTML 内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取所需信息，例如提取所有段落标签 <p>
paragraphs = soup.find_all('p')
# 打印提取到的内容
for p in paragraphs:
print(p.get_text())
else:
print("请求失败，状态码：", response.status_code) 单元测试
为了确保代码的正确性，我们可以编写一些单元测试，这里使用 Python 的内置unittest 模块。
（图片来源网络，侵删）
import unittest
from unittest.mock import patch
from your_crawler_module import fetch_data # 假设你的爬虫函数在名为 your_crawler_module 的模块中
class TestCrawler(unittest.TestCase):
@patch('your_crawler_module.requests.get')
def test_fetch_data(self, mock_get):
# 模拟请求返回的数据
mock_get.return_value.status_code = 200
mock_get.return_value.text = '<html><body><p>Hello, World!</p></body></html>'
# 调用你的爬虫函数
result = fetch_data('https://example.com')
# 断言结果是否符合预期
self.assertEqual(result, ['Hello, World!'])
if __name__ == '__main__':
unittest.main() 这样，你就可以运行单元测试来验证你的爬虫代码是否正确。
（图片来源网络，侵删）
本文来源于互联网，如若侵权，请联系管理员删除，本文链接：https://www.9969.net/41768.html
