Luận án TS: Một số phương pháp ngẫu nhiên cho bài toán cực đại hóa xác suất hậu nghiệm không lồi trong học máy

1. Mở đầu

1.1 Bối cảnh nghiên cứu

Nghiên cứu về học máy, nghiên cứu sinh nhận thấy quá trình giải một bài toán trong học máy thường gồm ba bước chính: bước mô hình hóa, bước học và bước suy diễn. Trong đó, mô hình hóa là tìm một mô hình thích hợp cho bài toán cần giải quyết, học là quá trình tối ưu các tham số của mô hình và suy diễn là bước dự đoán kết quả đầu ra của mô hình dựa trên các tham số đã huấn luyện. Ký hiệu x là tập các tham số của mô hình, khi đó bước học chính là quá trình ước lượng tham số, tức là tìm tham số x sao cho dữ liệu sẵn có và mô hình khớp với nhau nhất. Việc tối ưu tham số, hay còn gọi là quá trình học tham số, là ý tưởng chính của các bài toán học máy nhằm tìm được mối tương quan giữa các đầu vào và đầu ra dựa trên dữ liệu huấn luyện. Một phương pháp ước lượng tham số thông dụng được sử dụng trong học máy thống kê chính là phương pháp ước lượng hợp lý cực đại MLE (Maximum Likelihood Estimation). Khắc phục nhược điểm của MLE, chúng ta có thể ước lượng tham số mô hình theo một cách tiếp cận khác, đó là sử dụng phương pháp cực đại hóa ước lượng xác suất hậu nghiệm MAP (Maximum A Posteriori Estimation).Khác với MLE, phương pháp MAP không những dựa trên dữ liệu huấn luyện mà còn dựa trên những thông tin đã biết của tham số.

1.2 Động lực thúc đẩy

Nghiên cứu sinh nhận thấy vai trò quan trọng của bài toán MAP trong học máy thống kê cũng như các thách thức về việc phát triển các thuật toán hiệu quả cho bài toán. Mặc dù các nhà nghiên cứu vẫn không ngừng cải tiến, đề xuất các thuật toán đáp ứng tốt hơn cho các mô hình học máy ngày càng phức tạp nhưng vẫn còn một khoảng cách rất lớn giữa hiệu quả thực tế của các thuật toán đạt được và mong muốn của con người. Rất nhiều thuật toán đề xuất chưa đảm bảo các tiêu chuẩn như về sự hội tụ nhanh, tính phổ dụng, tính linh hoạt hay khả năng hiệu chỉnh khi áp dụng cho các mô hình thực tế phức tạp và thực hiện trên các bộ dữ liệu lớn. Do vậy, nghiên cứu các phương pháp giải hiệu quả bài toán MAP không lồi trong học máy thực sự có ý nghĩa, nhất là đặt trong bối cảnh các mô hình học máy phát triển ngày càng phức tạp với nhiều tham số hơn và thường làm việc trên các dữ liệu quan sát lớn, từ đó đòi hỏi ngày càng cao về chất lượng của các thuật toán giải. 

2. Nội dung

3. Kết luận

Trong luận án chúng tôi đã nghiên cứu về bài toán cực đại hóa xác suất hậu nghiệm (MAP) không lồi thường xuất hiện trong học máy. Qua đó chúng tôi đã tìm hiểu các cách tiếp cận giải bài toán MAP không lồi. Trên cơ sở đó, luận án đã đề xuất được một số thuật toán ngẫu nhiên giải hiệu quả bài toán MAP không lồi trong một số mô hình xác suất. Sự hiệu quả của các thuật toán đề xuất được xem xét đầy đủ trên cả hai khía cạnh lý thuyết và thực nghiệm. Các thuật toán đề xuất được chứng minh đảm bảo hội tụ với tốc độ nhanh thông qua công cụ ý thuyết xác suất thống kê và lý thuyết tối ưu. Thông qua thực nghiệm triển khai bài toán suy diễn hậu nghiệm trong mô hình chủ đề trên năm bộ dữ liệu lớn và triển khai bài toán MAP với mô hình CTMP trong hệ gợi ý, chúng tôi đảm bảo rằng các đề xuất hiệu quả cao hơn và có khả năng áp dụng tốt so với các phương pháp đương đại. Thông qua nghiên cứu kỹ lưỡng về mặt lý thuyết và thực nghiệm đã chứng minh được tính ưu việt của các thuật toán đề xuất.

4. Tài liệu tham khảo

Pfanzagl J. (2011). Parametric statistical theory. Walter de Gruyter.

Dempster A.P., Laird N.M., and Rubin D.B. (1977). Maximum likelihood from incomplete data via the em algorithm. Journal of the Royal Statistical Society. Series B (Methodological), 39(1):pp. 1–38.

Seo S., Oh S.D., and Kwak H.Y. (2019). Wind turbine power curve modeling using maximum likelihood estimation method . Renewable energy, 136:pp. 1164–1169.

Lauritzen S., Uhler C., Zwiernik P., et al. (2019). Maximum likelihood estimation in gaussian models under total positivity . The Annals of Statistics, 47(4):pp. 1835–1863.

Matilainen K., M¨antysaari E.A., and Strandén I. (2019). Efficient monte carlo algorithm for restricted maximum likelihood estimation of genetic parameters. Journal of Animal Breeding and Genetics, 136(4):pp. 252– 261.

Risk B.B., Matteson D.S., and Ruppert D. (2019). Linear non-gaussian component analysis via maximum likelihood . Journal of the American Statistical Association, 114(525):pp. 332–343....