Summary
Đây là một đề xuất nghiên cứu 9 trang (hướng tới ICML 2027), chưa có kết quả thực nghiệm. Câu hỏi trung tâm: khi điểm của một probe phát hiện sycophancy (chiều theo gợi ý sai) được dùng làm tín hiệu huấn luyện LoRA, điểm giảm phản ánh hành vi tốt hơn hay chỉ là biểu diễn bị dịch chuyển khiến bộ giám sát hỏng? Thiết kế cốt lõi là cặp nhánh (Pt. 2): cùng đích sạch do DeepSeek-R1 sinh, cùng trọng số mẫu , cùng lượt truyền xuôi; chỉ khác ở chỗ đạo hàm của số hạng phạt được bật hay ngắt (stop-gradient). Nhánh ngắt trùng với baseline đánh trọng số theo probe P0.
Kiểm chứng chính trên Qwen3-4B-Thinking-2507, , ba hạt giống, MedQA/PubMedQA với gợi ý sai. Ba giả thuyết đăng ký trước (Bảng 6): H1 – bật đạo hàm làm giảm A của probe tuyến tính đóng băng (); H2 – P0 hơn học sạch B1; H3 – P0 hơn đánh trọng số theo lỗi đầu ra B2. Kiểm toán phát lại cùng 1 000 văn bản qua mọi mô hình, so probe đóng băng với probe học lại theo đường khôi phục 50–400 mẫu. Ngân sách trần 100 giờ A100.
Bài tự định vị một cách thẳng thắn: các thành phần (phạt probe, đối chứng bật/ngắt đạo hàm, mức khôi phục) đã có ở [2–4,10]; đóng góp là một kiểm chứng có đối chứng trên mô hình suy luận với probe theo đoạn kiểu MONICA.
Strengths
Đối chứng đường đạo hàm sạch và tiết kiệm
§3.2, Pt. (2), Hình 2, Bảng 4
và dùng chung đích, , khởi đầu, thứ tự lô, bộ tối ưu và lượt truyền xuôi; chỉ khác sg trên . Kiểm tra 05 xác nhận bằng autograd: chính xác, sau một bước AdamW trùng P0 tới sai khác 0, nên đúng là chỉ cần một lượt mỗi hạt giống. Đây là cách cô lập tác động của đường đạo hàm mà không lẫn với thay đổi dữ liệu hay trọng số.
Weaknesses
H1 thiếu tính lực; quy tắc ‘ước lượng ≥ 0,03’ cho lực chỉ ≈50% tại chính ngưỡng đó
major · Bảng 6 H1; §3.3 “Chênh lệch giám sát”; §4.5 “Giới hạn của xấp xỉ”
Phép tính công suất chỉ bao phủ độ đúng (H2/H3), không bao phủ giả thuyết chính H1 về hiệu A. Mô phỏng (kiểm tra 10, giả định hai phân phối chuẩn, 1 000 văn bản chung, ba hạt giống) cho thấy ngân hàng đủ lớn (SE của D 0,003–0,016), nhưng vì cần đồng thời cận dưới > 0 và ước lượng điểm ≥ 0,03, lực khi D thật = 0,03 chỉ 0,47–0,53; quy tắc thực chất nhắm D ≈ 0,05. Đề xuất: nêu rõ hiệu nhỏ nhất có ý nghĩa và tính lực cho H1 (DeLong ghép cặp hoặc bootstrap trên dữ liệu đo thử), hoặc dùng cận dưới > ngưỡng thay cho điều kiện điểm.
Đạo hàm phạt trên đích sạch có thể gần 0, khiến H1 không kiểm định được
major · §3.2 “Điều kiện cơ chế có tín hiệu”, “Phạm vi phép phạt”; Pt. (2)
Phạt chỉ áp trên đích sạch (không chiều theo gợi ý), nơi điểm probe nhiều khả năng đã thấp; khi sigmoid bão hòa, nhỏ và . Bài thừa nhận chế độ này nhưng không có ước lượng đo thử phân phối điểm trên đích sạch hay độ lớn so với , cũng không có quy tắc định lượng để tuyên bố ‘cơ chế chưa được kiểm tra’. Đề xuất: đưa vào đo thử (4 giờ ở Bảng 8) chỉ số tỷ lệ chuẩn đạo hàm phạt/CE và ngưỡng khóa trước.
Questions for the authors
Trên đích sạch , phân phối điểm probe tại và tỷ lệ dự kiến ra sao? Nếu đo thử cho thấy điểm bão hòa, H1 còn được kiểm định thế nào?
Verification
Đây là đề xuất, không có mã, dữ liệu hay kết quả để chạy lại, nên kiểm chứng tập trung vào số học nội tại, toán của mục tiêu và tính khả thi thống kê của các quy tắc đã đăng ký. 16 kiểm tra đều có script: 10 xác nhận (hệ số công suất, , MDE kể cả Monte Carlo, tổng ngân sách, tính chất của cực đại trơn, tương đương P0 bằng autograd, chỉ số tầng trên config thật, phân chia dữ liệu so với kho HF, số lượt chạy, sự tồn tại của 25 tài liệu và liên kết của chúng); không có sai lệch số nào. 6 kiểm tra mô phỏng thiết kế là chưa kết luận vì phụ thuộc giả định, nhưng đều chỉ ra rủi ro: lực H1 ≈ 0,5 tại D = 0,03, tương đương ±2 pp bất khả khi q ≥ 21%, khối lượng trọng số P0/B2 khác nhau, cổng PubMedQA và dung sai khôi phục 0,03 nhạy nhiễu, ngân sách sinh 42 h phụ thuộc độ dài chuỗi chưa báo.
References
25 references checked
- [10] Fel và cộng sự, Shaping & Monitoring Models through their Internal Representations, arXiv:2611.07071 (2026)
Tồn tại và khớp. Được dẫn ở §1 và §3.3 chỉ cho ‘các mức khôi phục probe’, nhưng tóm tắt đã báo cáo probe gốc vẫn tin cậy khi đạo hàm không đi qua nó và probe tuyến tính học lại khôi phục khái niệm — trùng trực tiếp với H1; nên được thảo luận như bằng chứng trước.
- [3] Taufeeque và cộng sự, The Obfuscation Atlas, arXiv:2602.15515 (2026)
Tồn tại và khớp. Được dẫn (cùng [4]) cho ‘đối chứng bật/ngắt đạo hàm’ đã có; tóm tắt so huấn luyện có/không phạt detector và quy hiện tượng cho trôi biểu diễn, không mô tả đối chứng ngắt đạo hàm cùng mất mát như Pt. (2). Nên chỉ rõ mục cụ thể.
- [12] Guan, Xie, Baker, Beyond g-mean², OpenAI Alignment Research blog, 20/10/2026
Tồn tại (có liên kết). Là bài blog chưa bình duyệt nhưng được dùng làm nguồn phương pháp ở Bảng 1 và Bảng 5; chấp nhận được nhưng nên ghi rõ tính chất này.
- [11] Guan và cộng sự, Monitoring Monitorability, ICML 2026, PMLR 306:37538–37602
Tồn tại và khớp; nên kèm bản arXiv (2512.18311) cho người đọc. Nhỏ.
Suggestions
Bổ sung tính lực cho H1 (hiệu AUC ghép cặp trên 1 000 văn bản chung, ba hạt giống) và nêu hiệu nhỏ nhất có ý nghĩa; cân nhắc thay điều kiện ‘ước lượng ≥ 0,03’ bằng ‘cận dưới > ngưỡng’ hoặc đặt ngưỡng theo lực.
Đưa vào đo thử 4 giờ: phân phối điểm probe trên đích sạch, tỷ lệ chuẩn đạo hàm phạt/CE, và một ngưỡng khóa trước để quyết định ‘cơ chế có tín hiệu’.
Viết lại phần định vị để thảo luận [10] như bằng chứng trước cho H1, và nêu cụ thể giả thuyết vì sao kết quả có thể khác trên chuỗi suy luận dài với probe theo đoạn.
Tính lực TOST cho biên ±2 pp với phương sai ba hạt giống từ đo thử; nếu không đạt, đổi biên có lý do trước khi khóa thay vì để H1 rơi vào ‘chưa kết luận’.
Thêm một biến thể kiểm soát khối lượng cho H3 (B2 chuẩn hóa cùng tỷ phần trọng số với P0, hoặc P0 nhị phân hóa theo ngưỡng cùng số câu được tăng).
Dùng log-sum-exp không chia K (hoặc báo và kiểm soát tương quan giữa và độ dài ) trong Pt. (1).
Ethics and integrity
Không phát hiện văn bản nào cố gắng chỉ dẫn người phản biện. Dữ liệu y khoa công khai (MedQA, PubMedQA) được dùng cho nghiên cứu; bài nói rõ không khẳng định an toàn tư vấn lâm sàng (§5). Nghiên cứu về việc mô hình né probe giám sát có khía cạnh lưỡng dụng (huấn luyện chống giám sát), nhưng thiết kế hướng tới đo và duy trì khả năng giám sát, và bài cam kết công bố cả các trường hợp bộ giám sát suy giảm. Không có thông tin tác giả hay xung đột lợi ích trong tài liệu.
Scope of this review
Tài liệu là đề xuất nghiên cứu: không có kết quả thực nghiệm, mã nguồn, dữ liệu sinh ra hay mã LaTeX, chỉ có PDF. Vì vậy không thể chạy lại bất kỳ thí nghiệm nào; mọi kiểm tra là trên số học nội tại, toán của Pt. (1)–(2) (mô hình đồ chơi bằng torch), siêu dữ liệu công khai của bộ dữ liệu/mô hình (Hugging Face), và mô phỏng tính khả thi dưới các giả định nêu trong từng script. Tài liệu bổ sung v20 (lịch sinh đầy đủ, §4.7) không được cung cấp. Danh tính tác giả không có trong PDF.