手把手教你用Python脚本+FOFA高效筛选CNVD通用漏洞目标（附代理池配置）-编程阁

Python自动化筛选CNVD通用漏洞目标的工程实践

在安全研究领域，效率往往决定着成果的产出速度。当面对海量企业数据时，如何快速识别符合特定条件的潜在目标，成为许多研究人员面临的共同挑战。本文将分享一套基于Python的自动化工作流，帮助安全从业者高效筛选符合CNVD通用漏洞收录标准的企业目标。

1. 企业数据采集与预处理

企业信息采集是整个流程的第一步。目前市面上有多家企业信息查询平台，这些平台提供了丰富的筛选条件。以某企业查询平台为例，我们可以通过以下筛选条件缩小目标范围：

注册资本≥5000万人民币
拥有软件著作权
具备有效网站信息

数据导出注意事项：

平台通常限制单次导出数据量（如1万条），可通过分地区或分时段多次导出
导出的CSV/Excel文件建议保留原始格式，避免特殊字符丢失
关注字段包含：企业名称、注册资本、软件著作权列表、官网地址

# 示例：企业数据预处理脚本片段 import pandas as pd def preprocess_company_data(input_file): df = pd.read_csv(input_file) # 清理企业名称中的冗余字符 df['clean_name'] = df['company_name'].str.replace(r'\(.*?\)|有限公司|有限责任公司', '', regex=True) # 过滤无效网址 df = df[df['website'].notna()] return df

2. FOFA智能查询引擎集成

FOFA作为网络空间测绘的利器，其强大的搜索语法可以帮助我们快速识别通用型系统。将企业数据与FOFA结合使用时，有几个关键策略：

查询优化技巧：

优先使用title、header、body等特征识别CMS系统
结合domain和host限定查询范围
利用cert和icon_hash识别特定服务

# FOFA API查询示例 import requests def fofa_search(company_name, api_key): base_url = "https://fofa.info/api/v1/search/all" query = f'title="{company_name}"' params = { 'email': 'your_email', 'key': api_key, 'qbase64': base64.b64encode(query.encode()).decode(), 'size': 100, 'fields': 'ip,port,title' } response = requests.get(base_url, params=params) return response.json()

提示：FOFA的免费API有查询频率限制，建议合理控制请求间隔

3. 自动化代理池的部署与应用

高频网络请求需要考虑IP限制问题。一个稳定的代理池系统可以显著提高数据采集的可靠性。以下是代理池部署的核心组件：

组件	功能	推荐方案
代理采集	从免费源获取代理IP	freeProxy01-10
验证模块	检查代理可用性	定时验证HTTP/HTTPS支持
存储系统	保存可用代理	Redis
API服务	提供代理获取接口	Flask

代理池配置要点：

Redis连接配置需正确设置认证密码
调度程序与API服务应分开部署
代理验证频率建议设置为5-10分钟

# 代理池启动命令示例 # 启动调度程序 nohup python proxyPool.py schedule > schedule.log 2>&1 & # 启动API服务 nohup python proxyPool.py server > server.log 2>&1 &

4. 目标筛选与漏洞验证

获得初步结果后，需要进一步筛选和验证。一个典型的处理流程包括：

去重处理：合并相同IP/域名的多个结果
特征分析：通过标题、关键字识别通用系统
初步扫描：使用轻量级工具快速识别明显漏洞
人工复核：排除误报和特殊场景

常见通用系统识别特征：

OA系统：包含"OA"、"协同办公"等关键字
CMS系统：特定meta标签或生成器标识
监控系统：特有路径如/zabbix、/nagios

# 目标筛选示例代码 def filter_targets(fofa_results): generic_systems = [] for item in fofa_results: title = item.get('title', '').lower() if 'oa' in title or 'cms' in title: generic_systems.append(item) elif any(kw in title for kw in ['办公', '管理系统', '平台']): generic_systems.append(item) return generic_systems

5. 工程实践中的优化策略

在实际运行过程中，有几个关键点值得特别关注：

性能优化：

采用异步IO处理网络请求（如aiohttp）
实现请求结果缓存，避免重复查询
设置合理的超时和重试机制

稳定性保障：

添加完善的日志记录系统
实现异常处理和自动恢复
监控关键指标（成功率、响应时间等）

数据管理：

使用数据库存储中间结果
定期备份重要数据
实现结果去重和版本控制

# 异步请求示例 import aiohttp import asyncio async def async_fofa_search(session, company_name): url = "https://fofa.info/api/v1/search/all" params = {...} async with session.get(url, params=params) as response: return await response.json() async def batch_search(company_names): async with aiohttp.ClientSession() as session: tasks = [async_fofa_search(session, name) for name in company_names] return await asyncio.gather(*tasks)