Tăng cường huấn luyện mô hình học tự chú ý cho phân tích và phân đoạn tiếng nói

Tóm tắt

     Nghiên cứu này đề xuất một phương pháp tăng cường mới sử dụng mô hình tự chú ý để phân tách giọng nói đơn kênh. Đầu tiên, đóng băng tất cả các lớp trong mô hình tự chú ý đã được huấn luyện trước. Tiếp theo, tiến hành huấn luyện lại mô hình qua ba giai đoạn, sử dụng cơ chế lập lịch để điều chỉnh tốc độ học tập và mở khóa các lớp trong mô hình theo lịch trình. Qua quá trình này, mô hình được cập nhật và nâng cấp từ kiến thức trước đó, giúp cải thiện hiệu suất mô hình đồng thời giảm thiểu thời gian và chi phí huấn luyện. Phương pháp này không chỉ giúp tăng hiệu suất của mô hình so với các phương pháp truyền thống mà còn có thể được áp dụng để cải thiện hiệu suất của các mô hình hiện có. Kết quả thử nghiệm choa thấy rằng mô hình được huấn luyện theo phương pháp này vượt trội hơn các phương pháp hiện tại đối với nhiệm vụ tách giọng nói đơn âm trên các tập dữ liệu thông thường.