Thu thập tự động các dị thể chữ Hán - Nôm để cải thiện chất lượng chuyển tự tự động từ chữ Nôm sang chữ Quốc ngữ

Tóm tắt

Thông qua quá trình hình thành và phát triển hàng nghìn năm, chữ Hán và chữ Nôm (tạm gọi tắt là chữ Hán-Nôm) tồn tại rất nhiều dị thể khác nhau cho cùng một chữ. Hiện tượng này đã gây nhiều khó khăn cho các hệ thống chuyển tự tự động từ chữ Hán-Nôm sang chữ Quốc ngữ do kho ngữ liệu huấn luyện chưa thể bao phủ hết các dị thể này. Để giải quyết vấn đề nêu trên, nghiên cứu của chúng tôi đề xuất sử dụng phần mềm máy tính để thu thập tự động các dị thể Hán-Nôm thông qua các trang web uy tín trên mạng. Phương pháp thực hiện bao gồm các bước  tự động thu thập dị thể Hán-Nôm từ internet, xây dựng công cụ để trích xuất tự động dữ liệu và áp dụng phương pháp thống kê để kiểm định chất lượng của kho dữ liệu đã thu thập. Kết quả của phương pháp đề xuất cho thấy  nghiên cứu của chúng tôi đã bổ sung được một lượng lớn dị thể vào tự điển Hán-Nôm cũng như góp phần nâng cao chất lượng chuyển tự tự động từ văn tự Hán-Nôm sang chữ Quốc ngữ.