Thử nhiều cách phân tích rồi chỉ báo cáo cách cho kết quả đẹp là cạm bẫy mà bất kỳ ai cũng có thể rơi vào mà không nhận ra — vì mỗi bước riêng lẻ đều có vẻ hợp lý.
Cách phòng đơn giản: ghi kế hoạch phân tích trước khi nhìn kết quả.
Ghi kế hoạch trước
- Viết ra trước: bạn sẽ phân tích thế nào, tiêu chí loại dữ liệu là gì.
- Ghi trước khi xem kết quả — đây là điểm mấu chốt.
- Nếu đổi kế hoạch sau đó, ghi lại lý do và nêu rõ trong bài.
- Việc này bảo vệ chính bạn — khi người phản biện hỏi, bạn có câu trả lời rõ ràng.
- Với nhiều lĩnh vực, đây đã thành thông lệ tốt.
Quản lý dữ liệu
- Giữ bản gốc không đụng vào — mọi xử lý làm trên bản sao.
- Ghi lại từng bước xử lý — để tái lập được và giải thích được.
- Đặt tên tệp có quy tắc và có phiên bản.
- Sao lưu ở ít nhất hai nơi — mất dữ liệu là tai nạn có thật và không sửa được.
- Tuân thủ quy định về dữ liệu của đơn vị và của lĩnh vực.
Trước khi phân tích
- Nhìn dữ liệu thô trước — vẽ biểu đồ đơn giản trước khi chạy phân tích phức tạp.
- Kiểm giá trị bất thường và tìm hiểu nguyên nhân, không xoá ngay.
- Kiểm dữ liệu thiếu — bao nhiêu, ở đâu, và xử lý thế nào.
- Kiểm giả định của phương pháp bạn định dùng.
- Nhiều lỗi phân tích bắt nguồn từ việc không nhìn dữ liệu thô.
Các cạm bẫy phổ biến
- Thử nhiều cách rồi chỉ báo cách cho kết quả đẹp.
- Loại dữ liệu vì nó không hợp giả thuyết — tiêu chí loại phải đặt trước.
- Nhầm tương quan với nhân quả trong phần bàn luận.
- Kết luận cho phạm vi rộng hơn mẫu cho phép.
- Không báo cáo kết quả không ủng hộ giả thuyết — đây là vấn đề liêm chính.
Trình bày kết quả
- Báo cáo đủ để người khác đánh giá — không chỉ con số cuối.
- Nêu rõ nếu đã thử nhiều phân tích.
- Bảng biểu tự giải thích được — người đọc không phải tìm trong bài.
- Nêu hạn chế của dữ liệu — cỡ mẫu, cách chọn, dữ liệu thiếu.
- Không vẽ biểu đồ theo cách phóng đại khác biệt.
Khi kết quả không như mong đợi
- Kết quả âm tính vẫn là kết quả — nó thu hẹp không gian tìm kiếm cho cả lĩnh vực.
- Kiểm lại quy trình trước — có lỗi kỹ thuật không.
- Bàn với người hướng dẫn thay vì tự tìm cách làm số liệu đẹp hơn.
- Báo cáo trung thực — và đây là chỗ phân biệt người nghiên cứu đàng hoàng.
Một điều đáng nhớ
Việc bảo vệ bạn tốt nhất khỏi cạm bẫy tự lừa mình: viết ra kế hoạch phân tích trước khi nhìn kết quả.
Nó mất một buổi. Và khi người phản biện hỏi vì sao bạn chọn cách phân tích này, bạn có câu trả lời được ghi lại từ trước — chứ không phải một lời giải thích dựng lên sau.
Câu hỏi thường gặp
Vì sao nên ghi kế hoạch phân tích trước?
Vì thử nhiều cách rồi chỉ báo cách cho kết quả đẹp là cạm bẫy ai cũng có thể rơi vào — ghi trước khi xem kết quả bảo vệ chính bạn khi bị hỏi.
Quản lý dữ liệu thế nào?
Giữ bản gốc không đụng vào, ghi lại từng bước xử lý để tái lập được, đặt tên tệp có quy tắc và phiên bản, và sao lưu ở ít nhất hai nơi.
Trước khi phân tích cần làm gì?
Nhìn dữ liệu thô và vẽ biểu đồ đơn giản trước, kiểm giá trị bất thường mà không xoá ngay, kiểm dữ liệu thiếu, và kiểm giả định của phương pháp.
Các cạm bẫy phổ biến là gì?
Thử nhiều cách rồi chỉ báo cách cho kết quả đẹp, loại dữ liệu vì không hợp giả thuyết, nhầm tương quan với nhân quả, và không báo cáo kết quả không ủng hộ giả thuyết.
Khi kết quả không như mong đợi?
Kết quả âm tính vẫn là kết quả — kiểm lại quy trình xem có lỗi kỹ thuật không, bàn với người hướng dẫn, và báo cáo trung thực.
