## 系统简介
这是一套 **PHP + MySQL** 开发的泛解析站群系统(Spider Pool),核心目标是通过批量生成高质量内容的方式,为搜索引擎蜘蛛(百度、Google、Bing、360、搜狗等)提供持续抓取的目标,从而提升主站/子域名在搜索引擎中的收录量和排名。
系统采用**单文件入口 + 模块化核心类**的轻量架构,无框架依赖,直接部署到任意 PHP 7.4\~8.x + MySQL 5.7+ / MariaDB 10.3+ 环境即可运行。
***
## 技术栈
| 层级 | 选型 | 说明 |
| —– | ———————————- | ——————– |
| 语言 | PHP 7.4+ | 纯原生开发,无 Composer 依赖 |
| 数据库 | MySQL 5.7+ / MariaDB 10.3+ | PDO 单例连接,utf8mb4 字符集 |
| 前端 | 原生 HTML + CSS + JavaScript | 无前端框架,响应式后台 |
| 推送服务 | 百度主动推送 / 必应 Bing / Google Indexing | 支持 Token 配置和 JS 自动推送 |
| AI 引擎 | DeepSeek / OpenAI / 百度千帆 / 腾讯混元 | 统一 AIClient 抽象层 |
***
## 核心架构
“`
┌─────────────────────────────────────────────────────────────┐
│ index.php(前台入口) │
│ │
│ ┌──────────────┐ ┌──────────────┐ ┌───────────────────┐ │
│ │ 泛解析域名匹配 │ │ 蜘蛛/访客识别 │ │ 模板渲染 + SEO 输出│ │
│ └──────────────┘ └──────────────┘ └───────────────────┘ │
│ │
│ ┌────────────────────┐ ┌────────────────────────────────┐ │
│ │ 蜘蛛强引/访客跳转 │ │ 安全防护(拦截CC/恶意请求) │ │
│ └────────────────────┘ └────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
┌─────────────────────────────────────────────────────────────┐
│ auto_runner.php(自动化引擎) │
│ │
│ ┌──────────────┐ ┌──────────────┐ ┌───────────────────┐ │
│ │ 计划任务调度 │ │ AI 文章生成 │ │ 异步任务执行 │ │
│ └──────────────┘ └──────────────┘ └───────────────────┘ │
│ │
│ ┌────────────────────┐ ┌────────────────────────────────┐ │
│ │ 日志清理/数据维护 │ │ 蜘蛛池内链/外链管理 │ │
│ └────────────────────┘ └────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
┌─────────────────────────────────────────────────────────────┐
│ admin/(管理后台) │
│ │
│ 概览面板 │ 域名管理 │ 关键词管理 │ 文章管理 │ 任务计划 │
│ 推送配置 │ 统计分析 │ 安全中心 │ AI配置 │ 系统日志 │
└─────────────────────────────────────────────────────────────┘
“`
***
## 一、前台功能(index.php)
### 1.1 域名智能匹配
– **精确匹配**:请求域名与后台绑定域名精确对应
– **泛解析匹配**:后台设置 `is_wildcard=1` 的主域名,所有子域名自动归属
– **泛解析自动建站模式**:首次访问从未注册过的子域名时,自动创建域名记录、绑定模板、分配关键词分类并自动填充文章,**实现”访问即建站”**
### 1.2 蜘蛛识别与跳转
– **UA 识别**:识别百度蜘蛛(Baiduspider)、Googlebot、Bingbot、360Spider、Sogou Web Spider、YandexBot、字节跳动等主流爬虫
– **蜘蛛强引**:后台开启后,将蜘蛛请求通过 302/meta refresh 强制跳转到目标 URL,支持权重随机分配和蜘蛛类型筛选
– **访客跳转**:对真实访客的跳转配置,避免被搜索引擎识别为作弊
### 1.3 模板引擎(TemplateEngine)
– **8 套内置模板**:科技蓝、商务灰、活力橙、自然绿、典雅紫、温暖红、清新青、简约白
– **JSON 风格配置**:主色、辅助色、背景色、卡片色、渐变、圆角等全可定制
– **SEO 深度优化**:
– 自动生成 title / meta\_keywords / meta\_description
– 关键词自动提取和组合
– 面包屑导航 + 分类 + 标签聚合页
– 上一篇/下一篇 + 相关文章 + 热门文章
– **站内轮链**:domain\_id=0 的全局文章池,跨域名随机轮换,提高蜘蛛抓取深度
– **老网址兜底**:被搜索引擎收录过的旧 URL 永远返回一篇文章(crc32 哈希确定性映射),避免死链导致权重丢失
– **第三方统计**:支持插入百度统计、Google Analytics 等代码,位置可选 head / body\_start / body\_end
### 1.4 安全防护(Security)
– **CC 攻击拦截**:基于 IP + UA + URL 的短时间高频访问检测,自动拉黑到 `blocked_logs`
– **黑名单统计**:按天统计各类拦截原因,后台安全中心可查看和导出
– **输入过滤**:统一 sanitizeInput 方法,防止 XSS / SQL 注入
### 1.5 日志记录
– **蜘蛛日志**:domain / spider\_type / url / ip / user\_agent / 时间
– **访客日志**:domain / url / ip / 设备 / 地区 / 搜索关键词 / 来源
– **蜘蛛强引日志 / 访客跳转日志 / 广告点击日志**
***
## 二、内容自动化(核心引擎)
### 2.1 AI 文章生成(AIClient + AutoContent)
**多 AI 引擎统一抽象**:
“`php
AIClient::generate(array $params)
// 参数:domain_id, keyword_id, keyword, platform, style, length
// 返回:title, content, summary, meta_keywords, meta_description
“`
支持的引擎(可在后台切换和配置):
| 引擎 | 默认模型 | 特点 |
| ——– | ————— | ———— |
| DeepSeek | deepseek-v4-pro | 性价比高,质量稳定,推荐 |
| OpenAI | gpt-3.5-turbo | 老牌稳定 |
| 百度千帆 | ernie-4.0-turbo | 中文优化 |
| 腾讯混元 | gpt-4o | 多模态支持 |
**文章生成模式**:
1. **AI 原创模式**:调用 AI 接口,按关键词 + 风格生成全新文章
2. **素材重组模式**(spliced):从全站已有文章中随机抽取句子,重组为新文章,速度快、零成本
3. **标题重塑**(retitleGeneratedArticles):对已上线但关键词匹配度不足的文章,重新用关键词组合生成标题和 meta
### 2.2 每日自动追加
– 后台开启”泛解析自动建站模式”后,每个自动注册域名每天自动追加 5\~20 篇文章(可配)
– 追加触发链路:`auto_runner.php` → 检查空域名/少文章域名 → 调用 AIClient → 入库
– 计数器:`today_articles` 当日、`yesterday_articles` 昨日、`total_articles` 累计
### 2.3 计划任务系统
– **task\_schedules**:定义每日文章生成计划(时间、数量范围)
– **schedule\_executions**:每轮执行记录,含 domain\_id / keyword\_id / progress / status
– **防卡住**:运行超过 1 小时自动标记 failed,挂起超过 24 小时自动重入队
– **异步任务队列**:`async_tasks` 存储 AI 调用、批量生成等长耗时任务,避免 HTTP 超时
***
## 三、搜索引擎推送
### 3.1 主动推送(PushHelper)
| 搜索引擎 | 推送方式 | 说明 |
| ——- | —————— | ————————————- |
| 百度 | REST API + JS 自动推送 | 支持批量 token,按域名配置 |
| 必应 Bing | SubmitURL API | 每个域名独立配置 bing\_token |
| Google | Indexing API | Service Account JSON 格式 google\_token |
– **全局百度 JS 推送**:后台一键开关,所有前台页面自动注入 `hm.js`
– **推送日志**:每次推送记录 domain / engine / status / response,后台可查看和清理
– **失败重试**:失败的推送记录可在后台手动触发重推
### 3.2 Sitemap 生成(sitemap.php)
– 访问 `/sitemap.xml` 自动生成当前域名的站点地图
– 包含:所有分类页、标签页、文章页
– 不同更新频率和优先级:文章日更、分类周更、标签月更
– 支持子域名独立 sitemap
***
## 四、管理后台
### 4.1 概览面板(admin/index.php)
| 模块 | 内容 |
| ———– | ————————————- |
| 核心统计卡 | 蜘蛛访问今日/昨日/累计、访客 IP 今日/昨日/累计、蜘蛛强引、文章发布 |
| 系统概况 | 启用域名数、关键词数、等待执行任务数、今日推送数 |
| 蜘蛛分布饼图 | Top5 蜘蛛类型占比(含自定义颜色) |
| 域名文章排行 | TOP3 域名文章数 |
| 最新文章 / 最新任务 | 实时列表展示 |
| Token 管理 | 今日消费 tokens + AI 引擎实时余额 |
| 系统运行日志 | 最新 15 条(成功/失败/运行中筛选) |
### 4.2 域名管理(admin/domains.php)
**双标签页设计**:
– **域名列表**:常规运营域名,含域名/模板/关键词/SEO 配置/状态切换/删除
– **自动注册域名**:泛解析自动建站模式下生成的子域名,显示绑定模板/关键词分类/关键词数/已调用文章数
**批量操作**:
– 批量绑定/切换模板
– 批量切换关键词分类
– 批量删除(同时清理文章和日志)
– 清理孤儿子域名(父域名已删除的残留子域名)
**泛解析自动建站模式配置**:
– 开关(全局)
– 初始文章数量范围
– 每日追加文章数量范围
### 4.3 关键词管理(admin/keywords.php)
– 关键词 CRUD + 分类管理(keyword\_categories)
– 类型标记:main(主关键词)/ tail(长尾词)
– 主从关系:main\_keyword\_id 关联主关键词
– 搜索量 / 竞争度标记
### 4.4 文章管理(admin/articles.php)
– 文章列表(支持按域名/关键词/状态筛选)
– 手动新增 / 编辑 / 删除 / 批量删除
– 显示域名 / 关键词 / 创建时间 / 浏览量
### 4.5 任务计划管理(admin/schedule\_manager.php)
– 查看所有域名的计划生成状态
– 手动触发计划执行
– 查看执行记录(今日/历史/失败过滤)
– 查看每个域名的今日/昨日/累计文章数对比
### 4.6 推送配置(admin/push.php)
– 域名级别的推送 token 配置(百度 / 必应 / Google)
– 一键开启百度 JS 自动推送
– 推送日志查看和清理
– 批量导入配置
### 4.7 统计分析
| 页面 | 统计维度 |
| ———————— | ————————– |
| admin/spider\_stats.php | 蜘蛛类型分布 / 域名蜘蛛排行 / 时间趋势 |
| admin/visitor\_stats.php | 访客 IP / 地区分布 / 设备类型 / 时间趋势 |
| admin/token\_stats.php | AI Token 按天/按平台/按任务类型消耗 |
### 4.8 安全中心(admin/security.php)
– CC 攻击拦截统计(今日/昨日/累计)
– 按拦截原因分类(CC / 恶意 UA / 黑名单规则)
– 安全规则配置(rule\_type + value + action)
### 4.9 AI 配置(admin/ai\_config.php)
– 多引擎 API Key / URL / Model / Temperature / MaxTokens 统一配置
– 一键开关某个引擎
– 测试连接功能
### 4.10 系统日志(admin/system\_logs.php)
– 操作日志 / 错误日志 / 任务日志 / AI 日志四种类型
– 按状态筛选(成功 / 失败 / 运行中)
– 自动清理(保留最近 N 天)
### 4.11 系统维护(admin/maintenance.php)
– 日志清理(蜘蛛日志 / 访客日志 / 推送日志 / Token 记录)
– Token 记录清理前自动汇总到 `token_usage_stats`,保留统计不丢失
– 数据库字符集自愈
***
## 五、自动化执行
### 5.1 auto\_runner.php — 站群心跳
三种运行模式:
“`bash
# 模式1:常驻进程(配合宝塔 Supervisor / pm2)
php auto_runner.php –daemon
# 模式2:单次执行(配合宝塔计划任务 / crontab)
php auto_runner.php –once
# 模式3:HTTP 触发
curl http://your-domain.com/auto_runner.php
“`
每轮执行的操作:
1. 扫描 `task_schedules`,到期的生成 `schedule_executions`
2. 清理卡住的运行中任务(超过 1 小时)
3. 清理超时的等待任务(超过 24 小时)
4. 清理 `article_images` 中的孤儿记录
5. 重建内链(interlinks 表)
6. 补充空域名/少文章的自动注册域名内容
7. 触发 pending 的 `async_tasks`
8. 清理过期日志
### 5.2 auto\_task.php — 定时任务
读取 `auto_tasks` 表中启用的任务,按优先级执行:
– 关键词扩展(从现有关键词派生长尾词)
– AI 文章生成
– 内链更新
– 日志清理
***
## 六、数据层设计
### 6.1 数据库自动迁移
**Database.php** 单例,`migrateDatabase()` 每次启动时自动:
1. **CREATE TABLE IF NOT EXISTS** — 补建所有缺失表(11 张)
2. **ALTER TABLE ADD COLUMN** — 补建所有缺失列(domains 7 列 + articles 3 列 + 其他 2 列)
3. 外层 try/catch 包裹,已存在自动跳过,**幂等安全**
4. 自动字符集检测和转换(articles 表非 utf8mb4 时自动 ALTER)
### 6.2 完整数据表清单(38 张)
| 分类 | 表名 | 用途 |
| —- | —————————————————————————- | ———— |
| 核心 | domains, keywords, keyword\_categories, articles, article\_images | 内容管理 |
| 模板 | templates, interlinks, external\_links | 展示和链接 |
| 蜘蛛日志 | spider\_logs, spider\_redirects, spider\_redirect\_logs | 蜘蛛行为追踪 |
| 访客日志 | visitor\_logs, visitor\_redirects | 访客行为追踪 |
| 重定向 | redirect\_config, redirect\_targets, redirect\_logs | 蜘蛛强引/访客跳转 |
| 推送 | push\_config, push\_logs | 搜索引擎推送 |
| 广告 | ads, ad\_views | 广告位和点击 |
| 安全 | security\_rules, blocked\_logs, blocked\_logs\_daily | 防护和拦截 |
| 配置 | system\_config, system\_settings, system\_logs | 系统运行时配置和日志 |
| AI | ai\_config, token\_usage, token\_usage\_stats | AI 引擎和计费 |
| 自动化 | task\_schedules, schedule\_executions, async\_tasks, auto\_tasks, task\_logs | 任务调度 |
| 统计 | daily\_stats, third\_party\_stats | 每日聚合统计和第三方代码 |
### 6.3 关键字段说明
**domains 表**(站群核心):
| 字段 | 说明 |
| ——————————————————- | ————- |
| is\_wildcard | 是否泛解析主域名 |
| parent\_id | 主/子域名层级归属 |
| auto\_registered | 是否自动注册的泛解析子域名 |
| keyword\_category | 绑定的关键词分类 |
| seo\_config | 域名级 SEO 自定义 |
| template\_config | 绑定的模板 |
| today\_articles / yesterday\_articles / total\_articles | 每日/累计文章计数器 |
**articles 表**:
| 字段 | 说明 |
| ——————- | ————————- |
| source\_article\_id | 重组生成时的源文章 ID(-1 表示 AI 原创) |
| url\_path | 自定义 URL 路径(老网址兜底用) |
| kw\_optimized | 是否经过关键词优化的标题重塑 |
***
## 七、API 接口
### 7.1 外部文章推送(api\_articles.php)
向站群推送外部文章:
“`
POST /api_articles.php?key=你的密钥
Content-Type: application/x-www-form-urlencoded
title=文章标题&content=HTML内容&domain=目标域名&old_url=旧站路径
“`
返回 `article_id`,用于后续百度主动推送的 URL 集合。
### 7.2 余额查询(admin/api\_balance.php)
前端 AJAX 轮询,获取当前配置 AI 引擎的实时账户余额。
***
## 八、部署指南
### 环境要求
– PHP 7.4 或 8.x(推荐 8.0+)
– MySQL 5.7+ 或 MariaDB 10.3+
– PHP 扩展:pdo\_mysql, mbstring, json, curl, fileinfo
– Web 服务器:Nginx / Apache / OpenResty
### 一键部署
“`bash
# 1. 上传源码到网站根目录
scp -r c:\wwwroot\ccc.com\* user@server:/www/wwwroot/your-domain.com/
# 2. 编辑 config.php 配置数据库连接
# 3. 在宝塔/面板导入 database/schema.sql
# 4. 配置 Nginx 泛解析规则(*.your-domain.com)
# 5. 宝塔 → PHP管理 → 重启 PHP(清 OPcache)
# 6. 访问 http://your-domain.com/admin/ 进入后台
“`
### 宝塔面板快速配置
1. **网站设置** → 域名管理 → 添加 `*.your-domain.com` 泛解析记录
2. **PHP 设置** → 禁用函数里确认未禁用 `proc_open` / `shell_exec`(可选)
3. **计划任务** → 添加 `auto_runner.php –once` 每分钟执行一次
4. **Supervisor / 进程守护** → 可选:守护 `php auto_runner.php –daemon`
***
## 九、目录结构
“`
ccc.com/
├── index.php # 前台入口
├── auto_runner.php # 站群自动化引擎
├── auto_task.php # 定时任务执行器
├── sitemap.php # Sitemap 生成
├── api_articles.php # 外部文章推送 API
├── config.php # 数据库配置(需编辑)
│
├── admin/ # 管理后台
│ ├── index.php # 概览面板
│ ├── login.php # 登录
│ ├── domains.php # 域名管理(含泛解析模式配置)
│ ├── keywords.php # 关键词管理
│ ├── articles.php # 文章管理
│ ├── schedule_manager.php # 任务计划
│ ├── schedule_runner.php # 计划执行器
│ ├── push.php # 推送配置
│ ├── spider_stats.php # 蜘蛛统计
│ ├── visitor_stats.php # 访客统计
│ ├── token_stats.php # Token 消费
│ ├── security.php # 安全中心
│ ├── ai_config.php # AI 引擎配置
│ ├── system_logs.php # 系统日志
│ ├── maintenance.php # 系统维护
│ ├── password.php # 修改密码
│ ├── nav.php # 后台公共导航
│ └── pagination.php # 分页组件
│
├── core/ # 核心类库
│ ├── Database.php # 数据库单例 + 自动迁移
│ ├── TemplateEngine.php # 模板引擎(渲染/SEO/统计)
│ ├── AIClient.php # AI 引擎统一客户端
│ ├── AutoContent.php # 自动内容生成(AI 原创/重组/标题重塑)
│ ├── AutoTask.php # 自动任务逻辑
│ ├── PushHelper.php # 搜索引擎推送助手
│ ├── SEO.php # SEO 优化工具(内链/外链)
│ ├── Security.php # 安全防护(CC 拦截/输入过滤)
│ ├── StatsManager.php # 统计聚合(日维度)
│ ├── SystemConfig.php # 系统配置读写
│ └── SystemLog.php # 系统日志
│
├── database/
│ ├── schema.sql # 完整数据库 Schema(38 张表)
│ └── test_data.sql # 测试种子数据
│
├── templates/ # 模板文件(JSON 风格/HTML 主体)
│
└── uploads/ # 用户上传目录
“`
***
## 十、常见问题
**Q: 新服务器部署后页面报 “Table xxx doesn’t exist”?**
A: Database.php 的 migrateDatabase() 会在启动时自动建表,只要把最新的 `core/Database.php` 同步过去 + 重启 PHP 即可。
**Q: 修改了后台开关配置但没生效?**
A: PHP OPcache 缓存了旧代码。宝塔 → PHP管理 → 重启 PHP。
**Q: 泛解析自动建站模式怎么关闭?**
A: 后台 → 域名管理 → 顶部”泛解析自动建站模式”区域 → 关闭开关。已注册的子域名可以单独保留或批量清理。
**Q: AI 调用报余额不足?**
A: 后台 → AI 配置 → 选择启用的引擎,填入有效的 API Key。余额查询可在概览面板或 `api_balance.php` 接口看到。
**Q: 如何手动导入数据?**
A: 直接导入 `database/schema.sql` 即可,包含 38 张表 + 种子数据。Database.php 会在运行时自动补齐新列(幂等)。


没有回复内容