Luận án TS: Đánh giá mức độ giống nhau của văn bản tiếng Việt

1.1 Mục tiêu nghiên cứu

Đề xuất được phương pháp hiệu quả trong biểu diễn văn bản để phục vụ tốt nhất cho quá trình phát hiện sao chép văn bản. 

Đề xuất các giải thuật nhằm cải thiện tốc độ và độ chính xác để phát hiện sao chép khi xử lý dữ liệu lớn. 

Xây dựng hệ thống phát hiện sao chép văn bản tiếng Việt và ứng dụng thử nghiệm tại Đại học Đà Nẵng.

1.2 Đối tượng phạm vi nghiên cứu

Đối tượng nghiên cứu: Các mô hình, phương pháp biểu diễn văn bản; Các phương pháp, thuật toán tính độ tương tự văn bản; Bài toán phát hiện nội dung sao chép trên văn bản; Các hệ thống phát hiện sao chép văn bản

Giới hạn phạm vi nghiên cứu: Tập trung vào phương pháp biểu diễn văn bản dựa trên mô hình vector. Nghiên cứu một số mô hình, phương pháp biểu diễn văn bản, chuyển dữ liệu văn bản thô thành kho dữ liệu dựa trên mô hình vector; Nghiên cứu đề xuất thuật toán tính độ tương tự văn bản. Luận án chỉ tập trung vào các phương pháp đo độ tương tự văn bản mà không xét đến yếu tố ngữ nghĩa của văn bản. Luận án chỉ tính toán độ tương tự văn bản dựa trên các phương pháp liên quan đến chuỗi; Đề xuất giải pháp tính độ tương tự văn bản tiếng Việt và triển khai thử nghiệm tại Đại học Đà Nẵng.

1.3 Phương pháp nghiên cứu

Phương pháp tài liệu: Nghiên cứu các tài liệu có liên quan đến các nội dung nghiên cứu như: Khai phá văn bản, biểu diễn và lưu trữ văn bản, một số đặc trưng cơ bản của tiếng Việt, hệ thống phát hiện sao chép văn bản, độ tương tự văn bản, so sánh văn bản để phát hiện sao chép tại PAN, phép biến đổi DWT, bộ lọc Haar, tìm kiếm nhị phân, xử lý dữ liệu lớn. 

Phương pháp thực nghiệm: Nghiên cứu đánh giá thực nghiệm các mô hình, phương pháp so khớp văn bản trong phát hiện sao chép. Xây dựng các chương trình so khớp văn bản. So sánh, đánh giá các phương pháp đề xuất với các phương pháp đã có qua kết quả thực nghiệm. Cuối cùng, phát triển hệ thống thực nghiệm tại Đại học Đà Nẵng và đánh giá kết quả. 

2.1 Tổng quát tình hình nghiên cứu

Một số khái niệm sử dụng trong luận án

Một số đặc điểm của ngôn ngữ tiếng Việt 

• Khái quát 
• Một số khó khăn và nhập nhằng trong xử lý văn bản tiếng Việt 

Mô hình biểu diễn văn bản 

• Giới thiệu 
• Mô hình biểu diễn văn bản 
• Nhận xét và đánh giá 

Các phương pháp tính độ tương tự văn bản 

• Hướng tiếp cận 
• Bài toán so khớp chuỗi 

So sánh văn bản và ứng dụng trong phát hiện sao chép

• Giới thiệu 
• Các vấn đề liên quan về sao chép 
• Phát hiện sao chép tại PAN