hyzl-agent-backEnd/competition-website
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
39 Commits 1 Branch 0 Tags
5392345078e22ab00f10ecb37ee9680f18cd1737
Commit Graph

9 Commits

Author SHA1 Message Date
qubiaobiao
5392345078 feat(score): R173/R174 大题成绩 Excel 导入（三小问四列制）+ 三节点备份调度器与四项修复 
成绩导入（R173 落地 → R174 改为三小问四列制）
- app/lib/bigScoreImport.js（新增 · 判据唯一真相源 · 零依赖：不 require Egg / 不连库 / 不读文件）
  · R174 删除 splitScoreAcrossSubs（均分），改为 scoreSubs 逐项取值
  · 留空 SUB_MISSING（整行拒绝，⛔ 不按 0 分）· 非数值 SUB_INVALID · 超单问上限 SUB_OUT_OF_RANGE
  · 文件级 LEGACY_TEMPLATE（旧两列模板）与 SUB_COLUMNS_MISSING（缺一小问整列）⇒ 整份拒绝
  · 定位键必须带 group：(group, team_uid)，因 team_uid 跨组重号
- app/service/bigQuestion.js
  · buildScoreTemplate 改四列 + 说明书重写（删均分段，补"三列必须全填"与"旧模板不再支持"）
  · previewScoreImport 回带 subRaws/subs/total；importScores 逐项写 setSubScores
  · ⛔ 不新增第二条写成绩通路：仍只走 setSubScores → admin.updateScores
- app/lib/docx.js：run 支持 color（6 位 hex）；w:color 必须排在 w:sz 之前（CT_RPr sequence）
- app/controller/admin.js + app/router.js：import-template / import-preview（零写入）/ import-scores
  · 上传内存解析不落盘（app/public 对静态服务开放 ⇒ 成绩表可被猜名下载）

节点备份调度器（R168/R170）
- app/lib/nodeBackupScheduler.js（新增）：考试开始前 30min / 结束后 10min / 成绩发布瞬间
  · 幂等键 group:node:fireAtISO（时间点即身份）；overdue 判定用 clamp:false 的数学时刻
  · 非生产 enabled 强制 false 且 fail-safe（与 DEPLOY_ENV_LOCAL_SKIP_PREFIXES 同源）
- config/config.default.js：config.nodeBackup 四项路径全走环境变量，默认值只覆盖本地
  （生产目录布局与仓库不一致，⛔ 不许用 __dirname 推导）
- app.js：启动构造单例 + hydrate 未到期计划

缺陷修复
- app/controller/admin.js：R161 临时文件路径移到 try 外声明，否则导入抛错即跳过清理
- app/service/admin.js：R166「已答 N / N 题」恒真显示（原 totalQuestions = answeredCount）
- app/service/upload.js + app/controller/upload.js：R157/R162 删除结果计数 + @no-temp-cleanup 标注

测试
- .gitignore + test/lib.test.js：R134 候选 ㊴ —— test/* + !test/*.test.js，
  使第 26 步裸 mocha 在干净检出上可复现（改前 rc=1 ↔ 改后 23 passing）
 2026-10-19 13:03:48 +08:00
qubiaobiao
76ac1c7b6b security(config): 四个同族兜底缺陷一次收口 —— APP_KEYS / 弱口令 / IPv6 兜底 / 本地生产密钥同值（R106-D6~D9） 
共同根因（R104 结论的延续）：**同族问题各自实现必然漂移**。
本仓 DB_PASSWORD 与 JWT_SECRET（R105-D1）已统一为「缺凭据明确失败」，
但同族的另三处仍停在「可预测的公开兜底」上，另新增一处跨环境密钥同值。

D6 · APP_KEYS 派生兜底（原 config.default.js:157）
  原：const DEFAULT_APP_KEYS = appInfo.name + '_competition_website_secret_key_2026';
      config.keys = process.env.APP_KEYS || DEFAULT_APP_KEYS;
  「派生」不等于安全：由 appInfo.name 可推算 ⇒ 等价于「Cookie 签名密钥公开
  ⇒ 任何人可伪造已签名 Cookie」。收口到 _secret.cjs 唯一解析入口：
    · scripts/_secret.cjs 抽出通用 _loadSecret()，新增 loadAppKeys()
      （① env → ② scripts/.creds.local.json:app_keys → ③ 明确失败，⛔ 无兜底）
    · 生产安全守卫移除 config.keys === DEFAULT_APP_KEYS 比对分支（已无可比兜底值）
    · scripts/_creds.py 与 .creds.local.example.json 同步键面（两侧同源，永不漂移）

D7 · 生产弱口令兜底（原 config.default.js:176）
  原：config.testDefaultPassword = process.env.TEST_DEFAULT_PASSWORD || '123456';
  而 deploy/.env.production 的 TEST_DEFAULT_PASSWORD 一直是**注释状态** ⇒ 生产
  实际取到的就是弱口令 '123456'。一旦走到「批量写默认口令」的路径（重置测试数据 /
  显式 testFlag=true 的导入）会批量设弱口令 —— 属**静默弱口令**而非明确失败。
  修法：生产（config.isProduction）未显式注入 ⇒ 置 null；使用点改走新增的
  app/lib/passwordPolicy.requireTestPassword() 明确失败。测试环境语义逐字不变。

D8 · 本地 DB 兜底 host 引发 IPv6 建连超时（原 config.default.js:217）
  原：host: process.env.DB_HOST || 'localhost'。Node >= 18 的 verbatim DNS 可能把
  localhost 解析到 ::1，而本机 MariaDB 只听 IPv4 ⇒ **建连 ETIMEDOUT**（不报 1045、
  不报 ECONNREFUSED），现象是「后端启动卡在 DB」，极易误判为「服务没起来」。
  且本仓 scripts/_db.cjs:43 的兜底早已是 '127.0.0.1' —— 同子系统两套默认值必然漂移。
  修法：兜底改为 IPv4 字面量（生产显式注入 DB_HOST ⇒ 逐字不变）。
  配套（config.local.js 为 gitignored 本地文件，不入库）：补 host/port 覆盖 ——
  「第二道保险」原本只保账号/口令，反而漏掉了真正会出问题的连接目标。

D9 · 本地 dev 与生产共用同一 JWT/APP_KEYS（loadDeployEnv）
  非生产跳过清单原本只含 DB_/REDIS_/ALIYUN_/SMS_，注释称「仍保留
  JWT_SECRET / APP_KEYS …… 本地无副作用」—— 该结论不成立：本地进程持有
  **生产签名密钥** ⇒ 本地 token 可冒充生产用户（反之亦然），两套环境的会话边界
  实际被打通，属**安全属性**缺陷。
  修法：新增 DEPLOY_ENV_LOCAL_SKIP_KEYS 精确跳过（⛔ 不用前缀以免误伤），本地改由
  scripts/.creds.local.json 供值；Python 侧 scripts/_fixtures.py resolve_jwt_secret()
  同步为「非生产优先本仓凭据文件」—— 否则脚本会用生产密钥签 token 交给本地后端
  验签，必然 401（正是该函数注释里记录过的 23 项级联假红）。

行为等价性（生产逐字不变，已逐项实测）：
  · D6/D8：生产显式注入 APP_KEYS / DB_HOST ⇒ 取值路径不变
  · D7：生产 resetTestData 本有 403 守卫、导入默认 testFlag=false ⇒ 原不可达
  · D9：isProdEnv=true ⇒ 不跳过任何键 ⇒ 生产加载路径不变

验证：
  · 配置层双环境断言：本地 jwt=8066e07d5683 / keys=e4cfe40ff3ea（≠ 生产
    a05591750093 / ae0d155385c1）；生产两值逐字不变；生产 testDefaultPassword=null
  · 本地后端真实重启（仅给 DB_PORT=3307、**不给 DB_HOST**）⇒ 启动成功，
    /api/health {"code":0,...,"db":"ok"}；日志显示跳过 16 个键（含 JWT_SECRET/APP_KEYS）
  · D9 判决点 d9_verify_split.py：本地密钥签 token ⇒ 200；生产密钥 ⇒ **401**
  · 生产部署后 r106_prod_sentinel.js：pass=11 fail=0；/api/health 200
  · 门禁：verify_no_secrets.py VERIFY_ALL_PASS（HIGH 0，判别力自证 17/17）；
    verify_script_health.py H1–H4 PASS
 2026-10-12 11:06:01 +08:00
qubiaobiao
89b9b2b0da security(config): 移除内置 JWT 密钥明文兜底，收敛到唯一解析入口（R105-D1） 
问题（R104 卫生清理 H2 分类的唯二受版本控制命中）：
  config.default.js 原为
      const DEFAULT_JWT_SECRET = 'competition_jwt_secret_key_2026_br!cs';
      secret: process.env.JWT_SECRET || DEFAULT_JWT_SECRET
  该常量为**已入库、任何人可读**的明文，且与 scripts/.creds.local.json 的
  jwt_fallback_secret 同值 ⇒ 等价于「JWT 签名密钥公开 ⇒ 任意人可伪造 token
  冒充任意身份」。它与仓库既有纪律（_creds.py / _db.cjs / 本文件:459 对
  DB_PASSWORD 的「缺失即阻断」）不一致 —— 同族问题各自实现必然漂移。

修法：
  · config/config.default.js
      - 删除 DEFAULT_JWT_SECRET 常量与 `||` 兜底，改调唯一解析入口；
      - 生产安全守卫中同步移除 `jwt.secret === DEFAULT_JWT_SECRET` 比对分支
        （不再存在可比的兜底值；缺失时解析期即抛错）。
  · 新增 scripts/_secret.cjs（与 _db.cjs / _creds.py 同一纪律）
      ① env JWT_SECRET → ② scripts/.creds.local.json:jwt_fallback_secret
      → ③ 明确失败（⛔ 刻意不提供明文兜底）

行为等价性：生产经 systemd EnvironmentFile、本地经 loadDeployEnv 从
deploy/.env.production 注入 JWT_SECRET，正常运行路径逐字不变；仅消除了
「密钥缺失时静默使用公开值」这一分支。

验证：
  · 后端真实重启 ⇒ 配置加载成功，生效 jwt.secret 指纹与注入值一致；
  · 端到端判别力（本地 7001 与生产 8023 各一次）：新密钥签发 ⇒ 200，
    旧密钥签发 ⇒ 401（auth.js jwt.verify 分支）；
  · scripts/verify_no_secrets.py：HIGH 0，判别力自证 17/17；
  · scripts/verify_script_health.py：H1–H4 PASS。
 2026-10-12 10:26:03 +08:00
qubiaobiao
070195a22c docs(backend): 同步 worker 数注释（生产 4 -> 2，与 2 核匹配） 
仅注释变更，**无行为变更**。EGG_WORKERS 实际由 deploy/.env.production 注入 +
deploy/start-backend.sh 兜底决定，本次把注释里写死的旧口径同步为 2，避免
「注释与配置漂移」再次误导后人。

- app.js:
  · 「生产显式设为 4」-> 2
  · 「4×20=80（安全）」->「2×20=40（安全）」
  · 「本地 dev 也会加载 .env.production，其中写着 4」-> 2
  · 「dev 下真 worker=1 却报 4×20=80」-> 2×20=40
- config/config.default.js:
  · 「生产值写在 deploy/.env.production（EGG_WORKERS=4）」-> 2（并注明 2026-09-29
    R40 由 4 校正为 2）
  · 「4 × 20 = 80」->「2 × 20 = 40」
  · pool 段「worker 数由 EGG_WORKERS 显式控制（生产 = 4）」-> 2
  · 「本机/多数服务器为 8 核 → 8 个 worker」->「核数越多起得越多（开发机 8 核 → 8 个）」
    （原文把"8 核"当成多数服务器的事实，与实测的 2 核服务器不符）

背景（R40 · BACKLOG C2）：worker 数 ≈ CPU 核数。worker 数 > 核数对 CPU 型路径
（bcrypt 登录）**零收益** —— 加 worker 不加核（native bcrypt 走 libuv threadpool），
只增加 context switch 与内存（单 worker 空闲 RSS ≈108MB）。登录容量由物理核数
决定（实测 ≈12.6 次/核·秒）⇒ 2 与 4 的登录容量相同。连接池 2×20=40 ≤ 151-20 ✅

验证：node --check app.js / config/config.default.js 通过；
verify-c1c2.py 含「五处文档/代码注释已无旧口径「4」残留」断言（24/24 通过）。
 2026-09-29 12:34:38 +08:00
qubiaobiao
079c1b31c9 R20：客观题分值口径 + 大题一位小数评分 + 页面刷新修复 + 大题导出 Word 
A1/A2 客观题：
- 清理题库占位题（答案恒 A/true、分值恒 5），客观题分值硬约束为 1 分
- 新增 scripts/check_question_bank_health.py（带变异注入自检，已验证判别力）
- ci-gates.sh 由 9 步扩为 10 步，纳入题库健康门禁

B 大题评分一位小数：
- 新增 app/lib/decimal_score.js：DECIMAL(6,1) + getter 兜底，单点收口
  「DB 列 / model 声明 / dialectOptions.decimalNumbers」三处必须同时成立
- 10 个 model 的 score 字段改走该工厂
- database/migrations/025：17 列 INT → DECIMAL(6,1)（6 列题目分值保持 int）
- service/bigQuestion.js：setSubScores 用 Math.round(n*10)/10 收敛，不再抹成整数

C 页面状态刷新：
- 修复 onQuestionTypeChange 的 `bigQuestions.length === 0` 守卫（切组后旧数组仍非空
  ⇒ 永不重新拉取）
- 修复评分后只刷一半（saveBigScores / saveExamScore 各只刷一侧列表）
- 收敛为唯一刷新入口 refreshQuestionData()；ensureBigData 改按「数据属于哪个组」
  判定；fetchBigQuestions/fetchBigAnswers 增加组别竞态守卫

D 大题导出 Word（单题 / 批量 / 全部）：
- 新增 app/lib/docx.js：零新依赖手写 OOXML（复用已有 archiver@8），支持 p/strong/
  span/a/br/table/ul-ol 子集，具名捕获组词法解析，pPr 严格排在 runs 之前
- service.bigQuestion.exportQuestions + controller.exportBigQuestions +
  GET /api/admin/big-questions/:group/export
- 前端导出选中/全部两按钮 + 表格多选（reserve-selection）

计划外发现并修复（已在报告中披露）：
- 管理端跨组写分越权：setSubScores 定位作答行时缺 group 约束，可用任意组的路径
  改写他组考生成绩（读写不对称：读取侧有 where:{group}，写入侧没有）
  ⇒ 已补 group 约束，并区分「不属于本组」与「尚未抽题」两种文案
- 导出路由注册顺序：export 原注册在 :group/:id 之后（当时因后者仅 PUT/DELETE 而
  未暴露问题），已前移以消除「将来新增 GET /:group/:id 会吞掉 export」的隐患

验证（全部实测，非仅看退出码）：
- ci-gates.sh 10/10 全绿；四连门禁 52/0 · 22/0 · 20/0 · 46/0
- 端到端探针 probe_d_03（导出+小数）ALL PASS；probe_e_01（切组刷新）22/22 ALL PASS
- 前端构建 VITE_EXIT=0

未 push：须先上线验证通过再单独授权。
 2026-09-23 18:29:50 +08:00
qubiaobiao
a019df510d chore(security): 处置已入库的本地 DB 口令（P1-P3；P4 改历史不做） 
背景（R14 登记的 §16.3）：
  git grep -l "74191221" HEAD 曾命中 7 个文件，全为本地 MariaDB root 口令
  （已核实无生产凭据）。本次按登记项执行 P1-P3；P4（git filter-repo 改写
  历史）明确不做。

P1  database/config.json（dev/test 两段明文口令）
  - 加入 .gitignore
  - 新增 database/config.json.example（口令为 CHANGE_ME 占位符）
  - git rm --cached（保留磁盘文件，本地 sequelize-cli 不受影响）
  - 注意：这是对共享仓库的文件移除。push 后其他克隆需
    cp database/config.json.example database/config.json 并填入口令。

P2  五个脚本口令环境变量化（去明文兜底）
  - add_word_cols.js / add_wx_link.js / show_tables.js / seed-carousel.js
    内联 '74191221' 改为 process.env.DB_PASSWORD（另支持 DB_HOST/DB_USER/DB_NAME）
  - scripts/diagnose_upload_download.cjs：process.env.DB_PASS || '74191221'
    改为 process.env.DB_PASS；用法注释中的示例口令改为占位符
  - 有意的行为变更：未注入 DB_PASSWORD 时明确失败，不再静默使用公开口令

P3  config/config.default.js 消除「生产静默回退公开口令」
  - sequelize.password 去掉 || '74191221'
  - redis.client.password 去掉 || '74191221'
  - 生产安全守卫新增 DB_PASSWORD 缺失阻断（与 JWT_SECRET/APP_KEYS 同源同形）
  - deploy/.env.production 本就含 DB_PASSWORD ⇒ 现网零影响

验证（全部实测）：
  - git grep 74191221 工作树零命中（HEAD 仍有，属 P4 不做范围）
  - 裸启动（无任何 DB 变量）成功：本地口令由 config.local.js 提供
  - 端到端：health db:ok + admin-login code=0
  - MySQL 侧独立取证：processlist = root @ competition_db
  - 变异测试（改坏 config.local.js 口令）⇒ 报 1045 且用户名仍为 root
    ⇒ 同证 P3 兜底确已移除 + R18 的生产账号过滤仍生效
  - P2 双向验证：无 DB_PASSWORD 失败 / 注入后正常列 27 张表
  - 门禁四连：verify_scoring_e2e 17/0、verify_exam_submit_integrity 46/0、
    verify_big_question --cleanup（清理+窗口还原）、check_no_proxy_guard 5 变异全检出
 2026-09-23 16:34:08 +08:00
qubiaobiao
4f1e28d643 fix(config): 本地启动不再被生产 DB 凭据污染（loadDeployEnv 收口 + config.local 兜底） 
问题（2026-09-23 用户报障）：
  本地 `npm run dev` 启动即崩：
  SequelizeAccessDeniedError: Access denied for user '<生产库账号>'@'localhost' (using password: YES)
  → [agent_worker] start error, exiting with code:1 → master 退出 → 7001 无监听。

根因：
  config/config.default.js 顶部的 loadDeployEnv() 在**模块加载期**无条件把
  deploy/.env.production 的全部 27 个键灌进 process.env，其中 DB_USER 指向生产库账号，
  而本机 MySQL 并无该账号。且 deploy/ 不在任何 git 仓库内 ⇒ 该文件变更无 diff、无 review。

改动 A —— 新增 config/config.local.js（已由 .gitignore 排除，不入库）：
  仅在 serverEnv=local 时被 Egg 加载并「覆盖」config.default.js。
  合并语义已取证：egg-core/lib/loader/mixin/config.js:61-71 `_preloadAppConfig()`
  对 ['config.default', `config.${serverEnv}`] 逐项执行 extend(true, ...) ⇒ 深合并、后者覆盖前者。
  本文件只覆盖 sequelize.username / password 两个字段，
  dialect/database/host/port/timezone/define/dialectOptions/pool/logging 全部沿用 default。
  生产 serverEnv=prod ⇒ Egg 只找 config.prod.js ⇒ 本文件不加载 ⇒ 零生产影响。

改动 B —— config/config.default.js：
  ① 执行时机：模块级 IIFE → module.exports(appInfo) 内部调用（此时 appInfo.env 已确定）；
  ② 作用范围：非生产环境跳过 DB_ / REDIS_ / ALIYUN_ / SMS_ 前缀键
     （连接类 / 凭据类 / 网关开关类），并在日志打印被跳过的键名（绝不打印值）。
  生产判定 = appInfo.env==='prod' || NODE_ENV==='production'。生产必然成立的三重依据：
     a) egg-scripts/lib/cmd/start.js:109 无条件 `env.NODE_ENV='production'`；
     b) deploy/.env.production:17 NODE_ENV=production，且 start-backend.sh 以
        `set -a; source "$ENV_FILE"` 注入 shell 后再 exec node；
     c) start.js:126 注释：argv → EGG_SERVER_ENV → 兜底 egg 取 prod。
  ⇒ 生产**不跳过任何键**，行为逐键不变。外部显式注入的键仍优先（判定在 `!== undefined` 之后）。

改动 C —— .gitignore：排除 config/config.local.js（含本地口令）。

验证（全部实测）：
  · 双向对照探针：本地跳过 15 键、生产跳过 0 键且 DB_USER 正常注入；
    合并后 pool.max=20 / define.charset=utf8mb4 / dialectOptions.charset 均保留 ⇒ 深合并成立。
  · 纯裸启动（不带任何 DB 变量）：egg started on :7001；health db:ok；admin-login code=0；
    MySQL 侧 information_schema.processlist 独立取证 user=root / db=competition_db。
  · 变异测试（config.local 口令改为错值）：报 1045 且报错用户名仍是 root
    ⇒ 一次实验同时证明 A 被加载且优先生效、B 已挡住生产账号。
  · 门禁回归：verify_scoring_e2e 17/0、verify_big_question --cleanup 52/0、
    verify_exam_submit_integrity 46/0、check_no_proxy_guard 5 变异全检出。

不变量（本次未改，勿顺手改）：
  · deploy/.env.production 一字未动 —— README L57 明确它是**拷往服务器的权威源**，改它生产连不上库；
  · sequelize 的 dialect/database/host/port/timezone/define/pool/logging 全部沿用 config.default.js；
  · 环境变量优先级不变：外部显式注入 > .env.production 兜底 > 代码默认值。
 2026-09-23 15:59:41 +08:00
qubiaobiao
23604f2718 feat(exam/auth): 登录闸门 + 交卷稳定性加固（R4-R8） 
R4 登录/交卷背压闸门
- app/middleware/concurrency_guard.js: 新增。超限即 429 + Retry-After（立即拒绝式，
  不排队；实测 429 P50=34ms）。RETRY_AFTER 收敛为单一有依据常量 = '2'
  （≈1.8 个满载窗口；实测 bcryptjs 1129ms / 原生 265ms 每窗口）。
  配额：LOGIN_MAX=16 / SUBMIT_MAX=24 / HEAVY_REQ_MAX=20，各 *REQ_MAX 覆盖。
- config/config.default.js: 闸门配额与连接池容量配置；DB dialect 锁 mysql。

R7 顺序红线 + R8 Retry-After 同源 + 原生 bcrypt
- 3 处硬编码 '2' 收敛为单一常量；补"勿因换实现而删闸门"红线注释。
- bcryptjs -> bcrypt@6（N-API，Windows/Linux 均免编译；drop-in，存量哈希 $2b$10$ 兼容）。
- app/model/account.js / app/service/auth.js: 同步哈希实现注释（D4 全族 5 处陈旧
  SHA256 注释修正）。

答题链路与综合大题
- app/controller/exam.js: 中职/高职综合大题接口（GET big-question / POST big-answer，
  逐问 2000 字上限校验）；uploadWord 对中职/高职封堵（400）。
- app/service/exam.js: 抽题快照 question_snapshot 落库、答案归集键修正。
- app/controller/auth.js / app/service/auth.js: toClientUser() 唯一出口，
  未发布态按组剔除 score，exam_score/word_score/ppt_score 任何情况下不下发。
- app/router.js: 新增大题与管理端路由。
- app/extend/helper.js: 下载文件名 RFC5987 编码（禁双重编码）。
- app.js: 池容量断言按 env 区分单/多 worker（防 dev 假日志）。

验证：ci-gates.sh 9/9 全绿；verify_login_guard.py 28/28（含 D 组变异 9/9）；
真实登录/抽题/交卷端到端 code=0；前端构建 BUILD_RC=0。
 2026-09-22 09:16:55 +08:00
WorkBuddy
a303cf2d53 chore: 后端首次基线提交 
运行必须源码：app/(controller/model/service/middleware/lib/utils/validate/router)、config/、database/(migrations/seeders/sql)、启动脚本、app/public/templates 模板。
已忽略运行非必须：node_modules/、logs/、run/、app/public 运行时上传数据、.env*、构建/缓存产物。
 2026-08-17 12:25:42 +08:00