Kiểm định giả thuyết

Hướng dẫn đơn giản và ngắn gọn về kiểm tra giả thuyết bằng Python

Hình ảnh từ: http://www.advanceinnovationgroup.com/blog/median-basing-hypothesis-testing

Trong blog này, tôi sẽ đưa ra một hướng dẫn ngắn gọn về Kiểm tra giả thuyết bằng các phương pháp Thống kê trong Python. Kiểm định giả thuyết là một phần của Phương pháp khoa học mà chúng ta đều quen thuộc, một điều mà chúng ta có lẽ đã học được trong những năm giáo dục đầu tiên. Tuy nhiên, trong thống kê, nhiều thí nghiệm được thực hiện trên một mẫu của dân số.

Nói chung, việc xác định những gì một tập hợp các quan sát cho chúng ta biết về một lời giải thích được đề xuất, nói chung, đòi hỏi chúng ta phải suy luận, hoặc như chúng ta gọi các nhà thống kê, với lý do không chắc chắn. Lý do với sự không chắc chắn là cốt lõi của suy luận thống kê và thường được thực hiện bằng phương pháp gọi là Kiểm tra Ý nghĩa Giả thuyết Null. -Nhận xét.

Để làm ví dụ cho blog này, tôi sẽ sử dụng bộ Dữ liệu Bóng đá Châu Âu được tìm thấy trên Kaggle và sẽ tiến hành kiểm tra giả thuyết. Các dữ liệu có thể được tìm thấy ở đây.

Bước 1

Quan sát

Bước đầu tiên là quan sát hiện tượng. Trong trường hợp này, nó sẽ là: Có tác động của sự xâm lược phòng thủ đối với các mục tiêu trung bình được phép không?

Bước 2

Kiểm tra nghiên cứu

Một tư duy tốt để đi là làm việc thông minh hơn không khó hơn. Một điều tốt để làm là xem liệu nghiên cứu liên quan đến quan sát của bạn đã tồn tại. Nếu vậy nó có thể giúp trả lời câu hỏi của chúng tôi. Nhận thức được các nghiên cứu hoặc thí nghiệm hiện có sẽ giúp chúng tôi cấu trúc thí nghiệm tốt hơn hoặc thậm chí có thể trả lời câu hỏi của chúng tôi và không phải tiến hành thử nghiệm ngay từ đầu.

Bước 3

Hình thành một giả thuyết Null và một giả thuyết thay thế

Một giả thuyết thay thế là phỏng đoán có giáo dục của chúng tôi và một giả thuyết null đơn giản là ngược lại. Nếu giả thuyết thay thế nói rằng có một mối quan hệ đáng kể giữa hai biến, thì giả thuyết null nói rằng không có mối quan hệ đáng kể.

Giả thuyết Null của chúng tôi sẽ là: Không có sự khác biệt thống kê về các mục tiêu được phép với các đội có tỷ lệ xâm lược phòng thủ lớn hơn hoặc bằng 65 so với các đội dưới 65.

Giả thuyết thay thế: Có sự khác biệt thống kê về các mục tiêu được phép với các đội có tỷ lệ xâm lược phòng thủ lớn hơn hoặc bằng 65 so với các đội dưới 65 tuổi.

Bước 4

Xác định xem giả thuyết của chúng tôi là thử nghiệm một đầu hay thử nghiệm hai đuôi.

Kiểm tra một lần

Nếu bạn đang sử dụng mức ý nghĩa 0,05, thử nghiệm một đầu cho phép tất cả các alpha của bạn kiểm tra ý nghĩa thống kê theo một hướng quan tâm. Một ví dụ về thử nghiệm một đầu sẽ là các đội bóng đá Bóng đá có tỷ lệ xâm lược thấp hơn 65 cho phép nhiều mục tiêu hơn đáng kể về mặt thống kê so với các đội có xếp hạng thấp hơn 65.

Kiểm tra hai đuôi

Nếu bạn đang sử dụng mức ý nghĩa 0,05, thử nghiệm hai đuôi cho phép một nửa số alpha của bạn kiểm tra mức ý nghĩa thống kê theo một hướng và một nửa số alpha của bạn để kiểm tra ý nghĩa thống kê theo hướng khác. Điều này có nghĩa là 0,025 nằm trong mỗi đuôi của phân phối thống kê kiểm tra của bạn.

Với thử nghiệm hai đuôi, bạn đang kiểm tra ý nghĩa thống kê theo cả hai hướng. Trong trường hợp của chúng tôi, chúng tôi đang thử nghiệm ý nghĩa thống kê theo cả hai hướng.

Bước 5

Đặt mức ý nghĩa ngưỡng (alpha)

(giá trị alpha): Ngưỡng biên mà chúng ta không sao khi từ chối giả thuyết khống. Giá trị alpha có thể là bất kỳ giá trị nào chúng tôi đặt trong khoảng từ 0 đến 1. Tuy nhiên, giá trị alpha phổ biến nhất trong khoa học là 0,05. Một alpha được đặt thành 0,05 có nghĩa là chúng ta ổn với việc từ chối giả thuyết khống mặc dù có 5% hoặc ít hơn khả năng kết quả là do ngẫu nhiên.

Giá trị P: Xác suất tính toán đến dữ liệu này một cách ngẫu nhiên.

Nếu chúng ta tính toán một giá trị p và nó xuất hiện đến 0,03, chúng ta có thể hiểu điều này như nói rằng Có khả năng 3% kết quả mà tôi nhìn thấy thực sự là do sự ngẫu nhiên hoặc may mắn thuần túy.

Hình ảnh từ Learn.co

Mục tiêu của chúng tôi là tính giá trị p và so sánh nó với alpha của chúng tôi. Alpha càng thấp thì bài kiểm tra càng nghiêm ngặt.

Bước 6

Thực hiện lấy mẫu

Ở đây chúng tôi có dữ liệu của chúng tôi được gọi là bóng đá. Đối với thử nghiệm của chúng tôi, chúng tôi chỉ cần hai cột trong tập dữ liệu của mình: team_def_aggr_rating và Goal_allowed. Chúng tôi sẽ lọc nó ra hai cột này sau đó tạo hai tập hợp con cho các đội có chỉ số xâm lược phòng thủ lớn hơn hoặc bằng 65 và các đội có xếp hạng xâm lược phòng thủ dưới 65.

Chỉ để tóm tắt cho bài kiểm tra giả thuyết của chúng tôi:

Tác động của sự xâm lược quốc phòng đối với các mục tiêu trung bình cho phép. Giả thuyết Null: Không có sự khác biệt thống kê về các mục tiêu được phép với các đội có tỷ lệ xâm lược phòng thủ lớn hơn hoặc bằng 65 so với các đội dưới 65. Giả thuyết thay thế: Có sự khác biệt thống kê về các mục tiêu được phép với các đội có xếp hạng xâm lược phòng thủ lớn hơn lớn hơn hoặc bằng 65 so với các đội dưới 65. Alpha thử nghiệm hai đuôi: 0,05

Bây giờ chúng tôi có hai danh sách các mẫu mà chúng tôi có thể chạy thử nghiệm thống kê. Trước bước đó, tôi sẽ vẽ hai bản phân phối để có được một hình ảnh.

Bước 7

Thực hiện kiểm tra hai mẫu

Phép thử t hai mẫu được sử dụng để xác định xem hai phương tiện dân số có bằng nhau không. Đối với điều này, chúng tôi sẽ sử dụng mô-đun Python được gọi là statsmodels. Tôi sẽ không đi sâu vào chi tiết về thống kê mô hình nhưng bạn có thể xem tài liệu ở đây.

Bước 8

Đánh giá và kết luận

Hãy nhớ lại rằng alpha chúng ta đặt là a = 0,05. Như chúng ta có thể thấy từ kết quả thử nghiệm của mình rằng giá trị p nhỏ hơn alpha của chúng ta. Chúng tôi có thể bác bỏ giả thuyết khống và với độ tin cậy 95% chấp nhận giả thuyết thay thế của chúng tôi.

Cảm ơn bạn đã đọc! Để hiểu sâu hơn về kiểm tra giả thuyết, bạn có thể kiểm tra dự án nhóm này trên GitHub mà tôi đã tham gia vào thử nghiệm giả thuyết ở đây.

Tài nguyên:

Lò nướng, Matthew. Số liệu thống kê của người dùng và phương pháp khoa học của người dùng đã lấy từ YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Giới thiệu về SAS. UCLA: Nhóm tư vấn thống kê. từ https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-b between-one-tails-and-two-tails-tests / (truy cập tháng 5 16, 2019).

Cẩm nang thống kê kỹ thuật. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm