Tiếp cận đa kết hợp cho bài toán truy vấn thông tin nông nghiệp đa phương tiện theo nội dung
Tóm tắt
Truy vấn thông tin đa phương tiện theo nội dung là một thách thức lớn, ngay cả đối với hiện trạng công nghệ hiện nay. Vấn đề nan giải của bài toán này, có tên gọi “khoảng cách ngữ nghĩa”, đòi hỏi chúng ta phải thấu hiểu cặn kẽ cách mà con người cảm nhận và xử lý thông tin thính-thị giác. Giới nghiên cứu đã triển khai hàng nghìn giờ thực nghiệm, mong muốn tìm ra giải pháp tối ưu, kết cuộc cũng bị hạn chế bởi chính khoảng cách ngữ nghĩa này. Trong khi lời giải toàn cục vẫn chưa có, chúng tôi đề xuất kết hợp kỹ thuật xử lý ngôn ngữ nói và thị giác máy tính, liên kết theo một cơ sở ngữ nghĩa cục bộ (domain Ontology), để đưa ra một giải pháp khả thi trong ứng dụng – xây dựng dịch vụ thông tin nông nghiệp. Quá trình phát triển dàn trải qua 3 phần: (1) xây dựng bộ cơ sở ngữ nghĩa cho nông nghiệp Việt Nam, (2) kiến thiết mô hình lai thính-thị giác cho động cơ tìm kiếm, (3) triển khai hệ thống dưới dạng dịch vụ thông tin. Về cơ sở ngữ nghĩa, chúng tôi phát triển theo 2 hướng: nhánh Ontology thuỷ sản với 3455 khái niệm, 5396 từ, và 28 quan hệ; nhánh Ontology trồng trọt với 3437 khái niệm, 6874 từ, và 5 quan hệ. Hệ Ontology này đóng vai trò liên kết toàn cục giữa từ khoá với các đặc trưng thính-thị giác, đồng thời cũng gia cố thêm cho hiệu năng tìm kiếm thông qua các kỹ thuật như mở rộng truy vấn, đánh chỉ mục tri thức... Ở mặt khác, mô hình lai cho động cơ tìm kiếm được thiết kế theo hướng tận dụng suy diễn ngữ nghĩa trên bộ Ontology để truy vét các thông tin bị mất. Phương pháp thực hiện là gom cụm các đặc trưng thị giác theo từng nhóm ngữ nghĩa được phát sinh từ bộ nhận dạng tiếng nói. Những phân đoạn thông tin nào bị mất mát do sai số trong nhận dạng tiếng nói, chỉ cần cùng cụm thị giác với các phân đoạn đúng, đều có thể truy vấn lại được. Kỹ thuật này đã đem lại cho chúng tôi 14 % gia tăng độ phủ và 9 % gia tăng độ chính xác so với hệ thống nền. Từ kết quả này, chúng tôi cũng đã triển khai một dịch vụ thông tin, hỗ trợ kỹ thuật nông nghiệp cho bà con nông dân vùng sâu vùng xa.