金融爬虫大师
一站式全网金融数据采集分析工具
产品介绍
《用户使用教程》— facemini-金融爬虫大师
本产品由 facemini 公司自主研发,版权所有 © 2026 facemini 公司。
facemini-金融爬虫大师是一款面向金融从业者、投资者与内容创作者的全能型金融数据工具,内置 1540+ 家金融机构名单、81 个媒体源、55 个专业能力模块,覆盖机构查询、全网舆情、行情数据、公告研报、网页爬取、风险分析等场景,一句话即可完成复杂的金融数据采集与分析。
目录
一、产品简介
facemini-金融爬虫大师聚合了以下核心能力:
| 能力 | 说明 |
|---|---|
| 机构名单 | 1540+ 家金融机构,36 大类,覆盖银行、基金、券商、保险、信托等 |
| 全网舆情 | 5 类 81 个媒体源 + RSS 直连 + 数据兜底,情感/严重度自动分级 |
| 网页爬取 | 六级降级链,自动处理反爬,支持静态/动态页面 |
| 浏览器爬取 | 类人操作(贝塞尔鼠标/随机打字)、并发标签页、网络去广告 |
| 公告/研报 | 上市公告 PDF 下载、券商研报、公司财报 |
| 行情数据 | 股票/基金/可转债/两融/大宗/ETF/龙虎榜/北向资金 |
| 结构化数据 | 期货、宏观(GDP/CPI/PPI/PMI)、Shibor、港股美股 |
| 风险分析 | 真实风险指标(年化/波动/回撤/夏普/卡玛)、组合复刻、相似推荐 |
| 搜索引擎 | 多引擎自动降级,中文财经召回最佳 |
| 报告导出 | 一键生成 Word / PPT / Excel / Markdown 研究报告 |
二、核心功能一览
1. 机构查询
输入任意金融机构名称,即可返回机构类型、官网地址、数据来源等信息。支持 36 大类的全量机构名单检索。
2. 全网舆情监控
对指定机构/公司进行全网舆情采集,自动完成情感分类(正面/中性/负面)与严重度分级,模糊去重,支持负面新闻专项监控与导出 Excel。
3. 网页与文档爬取
支持任意公开网页的完整归档(含图片与表格),可解析 PDF、Word、Excel、PPT、HTML 等格式文档,提取关键信息。
4. 市场数据查询
实时股票行情(含市盈率、市净率、市值、换手率等)、基金净值、热门股票排行、北向资金流向、龙虎榜、板块资金流向等。
5. 结构化市场数据
期货实时行情、宏观经济指标(GDP/CPI/PPI/PMI)、Shibor 同业拆借利率、港股美股行情。
6. 风险指标分析
基于真实净值数据计算年化收益、波动率、最大回撤、夏普比率、卡玛比率,支持产品风格分析、组合复刻与相似产品推荐。
7. 研究报告生成
自动生成研究报告,支持图表与多格式导出(Word/PPT/Excel/Markdown)。
三、快速上手
方式一:直接对话(推荐,零门槛)
在支持 AI 助手的环境中,直接对 AI 助手说:
帮我爬一下某上市公司最近7天的舆情
查一下某基金公司最近3天的负面新闻,并导出 Excel
搜索"贵州茅台2026半年报"然后把结果爬取下来
爬一下银行板块最近3天的舆情并导出 Word
查一下贵州茅台的实时行情
AI 助手会自动调用本技能完成数据采集与分析。
方式二:命令行(高级用户)
在技能根目录执行:
# 交互式对话(推荐)
python run_sentiment.py
# 直接命令行执行
python run_sentiment.py "贵州茅台最近7天的舆情"
python run_sentiment.py "某基金公司最近3天的负面新闻" --export excel
方式三:Python API(开发者)
from scripts import parse_financial_product, get_stock_quote, quick_search
# 解析基金产品
result = parse_financial_product("https://fund.eastmoney.com/000001.html", "fund")
print(f"基金名称: {result['product_name']}")
# 查询股票实时行情
quote = get_stock_quote("600519")
print(f"最新价: {quote['price']} 涨跌幅: {quote['change_pct']}%")
# 中文财经搜索
results = quick_search("贵州茅台 2026半年报")
四、对话式用法示例
示例 1:舆情爬取
用户:帮我爬一下贵州茅台最近7天的舆情
结果:返回近 7 天全网涉及贵州茅台的新闻/文章列表,每条含标题、来源、时间、链接与情感倾向(正面/中性/负面),自动去重。
示例 2:负面新闻导出
用户:某基金公司最近3天的负面新闻,导出 Excel
结果:采集该基金公司近 3 天负面舆情,生成 Excel 表格(含标题、来源、时间、严重度、摘要)。
示例 3:市场行情
用户:查一下今天的大盘指数和热门股
结果:返回上证指数、深证成指、创业板指实时点位与涨跌幅,以及涨幅榜/成交额榜 Top 股票。
示例 4:研究报告
用户:生成一份银行板块近一周的研究报告,导出 Word
结果:自动采集板块舆情与行情数据,生成带图表的 Word 研究报告。
示例 5:结构化数据
用户:查一下最近的 CPI 数据 / Shibor 利率 / 期货行情
结果:返回对应的宏观经济或金融市场结构化数据。
五、命令行用法
python run_sentiment.py # 交互式对话
python run_sentiment.py "查询内容" # 单次执行
python run_sentiment.py "查询内容" --export excel # 导出 Excel
python run_sentiment.py "查询内容" --export word # 导出 Word
Windows 用户:双击 run_sentiment.bat 即可启动交互式对话。
六、功能详解
6.1 机构名单查询
- 覆盖 1540+ 家金融机构,36 大类(银行、基金、券商、保险、信托、期货、支付等)
- 支持按类别、名称、代码查询,返回官网地址与数据源信息
- 入口:
query_institution
6.2 全网舆情监控
- 5 类 81 个媒体源:权威媒体、财经垂直、自媒体、论坛、政务/监管
- 支持 RSS 直连(零反爬)与搜索引擎补充
- 情感分类(正面/中性/负面)+ 严重度分级(高/中/低)
- 模糊去重(标题相似度 > 0.85 自动合并)
- 入口:
crawl_global_sentiment、add_custom_sentiment_target
6.3 网页爬取
- 六级降级链:Scrapling → Playwright → HTTP → 搜索引擎缓存 → RSS → 浏览器
- 自动处理 gzip、JSONP、验证码页(软封禁检测)
- 支持静态页(
mode="static")与动态渲染页(mode="realtime",需浏览器) - 入口:
scrape_webpage
6.4 行情与市场数据
| 数据 | 说明 | 入口 |
|---|---|---|
| 股票实时行情 | 最新价/涨跌幅/量比/换手/PE/PB/市值/涨停跌停 | get_stock_quote |
| 热门排行 | 涨幅/跌幅/成交量/成交额/换手率/涨速排行 | get_hot_stocks |
| 基金净值 | 历史净值、日增长率、申赎状态 | get_fund_nav |
| 北向资金 | 沪深港通净流入/余额/累计 | get_northbound_flow |
| 龙虎榜 | 每日上榜明细 | get_dragon_tiger |
| 板块资金 | 板块资金流向 | get_sector_flow |
6.5 结构化市场数据
| 类型 | 数据 |
|---|---|
| 期货 | 全市场期货实时行情 |
| 宏观 | GDP、CPI、PPI、PMI、外汇储备 |
| 同业 | Shibor 各期限利率 |
| 海外 | 港股、美股行情 |
入口:get_structured_data,如:
df = get_structured_data("shibor") # Shibor 利率
df = get_structured_data("futures_spot") # 期货实时行情
df = get_structured_data("macro_cpi") # CPI 同比
6.6 风险指标分析
基于 ≥30 个净值点计算(不足 30 点不伪造):
- 年化收益率、年化波动率、最大回撤、夏普比率、卡玛比率
- 产品风格分析、组合复刻、相似产品推荐
- 入口:
calculate_risk_metrics、analyze_risk_metrics
6.7 公告与研报
- 上市公司公告:巨潮资讯 PDF 批量下载
- 券商研报检索与下载
- 公司财报(年报/季报/半年报)提取
- 入口:
search_announcements、get_stock_reports
6.8 报告导出
支持 Word / PPT / Excel / Markdown 四种格式,自动生成图表,适合汇报与归档。
七、常见问题
Q1:舆情爬取返回空怎么办?
A:1)检查目标名称是否正确;2)扩大时间范围(days=7);3)增加媒体源类别。
Q2:结构化数据(期货/宏观)返回空?
A:需要安装扩展数据依赖:pip install akshare。未安装时自动返回空,不影响其他功能。
Q3:动态渲染页面(SPA)爬不到内容?
A:改用实时模式:scrape_webpage(url="...", mode="realtime")(需浏览器支持)。
Q4:安装依赖很慢?
A:使用国内镜像:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt。
Q5:数据源接口被封怎么办?
A:技能内置自动降级链(多数据源 + 搜索引擎 + RSS + 浏览器兜底),通常无需手动处理。
最近更新
用户投稿,审核通过后发布。