金融爬虫大师

一站式全网金融数据采集分析工具

产品介绍

《用户使用教程》— facemini-金融爬虫大师

本产品由 facemini 公司自主研发,版权所有 © 2026 facemini 公司。

facemini-金融爬虫大师是一款面向金融从业者、投资者与内容创作者的全能型金融数据工具,内置 1540+ 家金融机构名单、81 个媒体源、55 个专业能力模块,覆盖机构查询、全网舆情、行情数据、公告研报、网页爬取、风险分析等场景,一句话即可完成复杂的金融数据采集与分析。


目录

  1. 产品简介
  2. 核心功能一览
  3. 快速上手
  4. 对话式用法示例
  5. 命令行用法
  6. 功能详解
  7. 常见问题
  8. 版权声明

一、产品简介

facemini-金融爬虫大师聚合了以下核心能力:

能力说明
机构名单1540+ 家金融机构,36 大类,覆盖银行、基金、券商、保险、信托等
全网舆情5 类 81 个媒体源 + RSS 直连 + 数据兜底,情感/严重度自动分级
网页爬取六级降级链,自动处理反爬,支持静态/动态页面
浏览器爬取类人操作(贝塞尔鼠标/随机打字)、并发标签页、网络去广告
公告/研报上市公告 PDF 下载、券商研报、公司财报
行情数据股票/基金/可转债/两融/大宗/ETF/龙虎榜/北向资金
结构化数据期货、宏观(GDP/CPI/PPI/PMI)、Shibor、港股美股
风险分析真实风险指标(年化/波动/回撤/夏普/卡玛)、组合复刻、相似推荐
搜索引擎多引擎自动降级,中文财经召回最佳
报告导出一键生成 Word / PPT / Excel / Markdown 研究报告

二、核心功能一览

1. 机构查询

输入任意金融机构名称,即可返回机构类型、官网地址、数据来源等信息。支持 36 大类的全量机构名单检索。

2. 全网舆情监控

对指定机构/公司进行全网舆情采集,自动完成情感分类(正面/中性/负面)与严重度分级,模糊去重,支持负面新闻专项监控与导出 Excel。

3. 网页与文档爬取

支持任意公开网页的完整归档(含图片与表格),可解析 PDF、Word、Excel、PPT、HTML 等格式文档,提取关键信息。

4. 市场数据查询

实时股票行情(含市盈率、市净率、市值、换手率等)、基金净值、热门股票排行、北向资金流向、龙虎榜、板块资金流向等。

5. 结构化市场数据

期货实时行情、宏观经济指标(GDP/CPI/PPI/PMI)、Shibor 同业拆借利率、港股美股行情。

6. 风险指标分析

基于真实净值数据计算年化收益、波动率、最大回撤、夏普比率、卡玛比率,支持产品风格分析、组合复刻与相似产品推荐。

7. 研究报告生成

自动生成研究报告,支持图表与多格式导出(Word/PPT/Excel/Markdown)。


三、快速上手

方式一:直接对话(推荐,零门槛)

在支持 AI 助手的环境中,直接对 AI 助手说:

帮我爬一下某上市公司最近7天的舆情
查一下某基金公司最近3天的负面新闻,并导出 Excel
搜索"贵州茅台2026半年报"然后把结果爬取下来
爬一下银行板块最近3天的舆情并导出 Word
查一下贵州茅台的实时行情

AI 助手会自动调用本技能完成数据采集与分析。

方式二:命令行(高级用户)

在技能根目录执行:

# 交互式对话(推荐)
python run_sentiment.py

# 直接命令行执行
python run_sentiment.py "贵州茅台最近7天的舆情"
python run_sentiment.py "某基金公司最近3天的负面新闻" --export excel

方式三:Python API(开发者)

from scripts import parse_financial_product, get_stock_quote, quick_search

# 解析基金产品
result = parse_financial_product("https://fund.eastmoney.com/000001.html", "fund")
print(f"基金名称: {result['product_name']}")

# 查询股票实时行情
quote = get_stock_quote("600519")
print(f"最新价: {quote['price']}  涨跌幅: {quote['change_pct']}%")

# 中文财经搜索
results = quick_search("贵州茅台 2026半年报")

四、对话式用法示例

示例 1:舆情爬取

用户:帮我爬一下贵州茅台最近7天的舆情

结果:返回近 7 天全网涉及贵州茅台的新闻/文章列表,每条含标题、来源、时间、链接与情感倾向(正面/中性/负面),自动去重。

示例 2:负面新闻导出

用户:某基金公司最近3天的负面新闻,导出 Excel

结果:采集该基金公司近 3 天负面舆情,生成 Excel 表格(含标题、来源、时间、严重度、摘要)。

示例 3:市场行情

用户:查一下今天的大盘指数和热门股

结果:返回上证指数、深证成指、创业板指实时点位与涨跌幅,以及涨幅榜/成交额榜 Top 股票。

示例 4:研究报告

用户:生成一份银行板块近一周的研究报告,导出 Word

结果:自动采集板块舆情与行情数据,生成带图表的 Word 研究报告。

示例 5:结构化数据

用户:查一下最近的 CPI 数据 / Shibor 利率 / 期货行情

结果:返回对应的宏观经济或金融市场结构化数据。


五、命令行用法

python run_sentiment.py                      # 交互式对话
python run_sentiment.py "查询内容"            # 单次执行
python run_sentiment.py "查询内容" --export excel   # 导出 Excel
python run_sentiment.py "查询内容" --export word    # 导出 Word

Windows 用户:双击 run_sentiment.bat 即可启动交互式对话。


六、功能详解

6.1 机构名单查询

  • 覆盖 1540+ 家金融机构,36 大类(银行、基金、券商、保险、信托、期货、支付等)
  • 支持按类别、名称、代码查询,返回官网地址与数据源信息
  • 入口:query_institution

6.2 全网舆情监控

  • 5 类 81 个媒体源:权威媒体、财经垂直、自媒体、论坛、政务/监管
  • 支持 RSS 直连(零反爬)与搜索引擎补充
  • 情感分类(正面/中性/负面)+ 严重度分级(高/中/低)
  • 模糊去重(标题相似度 > 0.85 自动合并)
  • 入口:crawl_global_sentiment、add_custom_sentiment_target

6.3 网页爬取

  • 六级降级链:Scrapling → Playwright → HTTP → 搜索引擎缓存 → RSS → 浏览器
  • 自动处理 gzip、JSONP、验证码页(软封禁检测)
  • 支持静态页(mode="static")与动态渲染页(mode="realtime",需浏览器)
  • 入口:scrape_webpage

6.4 行情与市场数据

数据说明入口
股票实时行情最新价/涨跌幅/量比/换手/PE/PB/市值/涨停跌停get_stock_quote
热门排行涨幅/跌幅/成交量/成交额/换手率/涨速排行get_hot_stocks
基金净值历史净值、日增长率、申赎状态get_fund_nav
北向资金沪深港通净流入/余额/累计get_northbound_flow
龙虎榜每日上榜明细get_dragon_tiger
板块资金板块资金流向get_sector_flow

6.5 结构化市场数据

类型数据
期货全市场期货实时行情
宏观GDP、CPI、PPI、PMI、外汇储备
同业Shibor 各期限利率
海外港股、美股行情

入口:get_structured_data,如:

df = get_structured_data("shibor")        # Shibor 利率
df = get_structured_data("futures_spot")  # 期货实时行情
df = get_structured_data("macro_cpi")     # CPI 同比

6.6 风险指标分析

基于 ≥30 个净值点计算(不足 30 点不伪造):

  • 年化收益率、年化波动率、最大回撤、夏普比率、卡玛比率
  • 产品风格分析、组合复刻、相似产品推荐
  • 入口:calculate_risk_metrics、analyze_risk_metrics

6.7 公告与研报

  • 上市公司公告:巨潮资讯 PDF 批量下载
  • 券商研报检索与下载
  • 公司财报(年报/季报/半年报)提取
  • 入口:search_announcements、get_stock_reports

6.8 报告导出

支持 Word / PPT / Excel / Markdown 四种格式,自动生成图表,适合汇报与归档。


七、常见问题

Q1:舆情爬取返回空怎么办?
A:1)检查目标名称是否正确;2)扩大时间范围(days=7);3)增加媒体源类别。

Q2:结构化数据(期货/宏观)返回空?
A:需要安装扩展数据依赖:pip install akshare。未安装时自动返回空,不影响其他功能。

Q3:动态渲染页面(SPA)爬不到内容?
A:改用实时模式:scrape_webpage(url="...", mode="realtime")(需浏览器支持)。

Q4:安装依赖很慢?
A:使用国内镜像:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt。

Q5:数据源接口被封怎么办?
A:技能内置自动降级链(多数据源 + 搜索引擎 + RSS + 浏览器兜底),通常无需手动处理。

最近更新

v1.0.0
稳定版
2 个月前

用户投稿,审核通过后发布。