TỐI ƯU DỮ LIỆU LỚN HÀNG HẢI GOM CỤM K NHÓM THEO TRUNG BÌNH DỰA VÀO MÔ HÌNH MAPREUCE

Tóm tắt

Với sự phát triển của công nghệ thông tin, dữ liệu hàng hải lớn đang là xu hướng ngày càng tăng của các ứng dụng nhằm xử lý mà không đủ bộ nhớ chính của việc phân tích dữ liệu lớn đang là bài toán thách thức hiện nay. Đối với ứng dụng chuyên sâu, dữ liệu hàng hải lớn, thuật ngữ “MapReduce” gần đây đã thu hút sự chú ý đáng kể và bắt đầu được nghiên cứu để phân tích mà có thể xử lý hàng petabyte dữ liệu AIS cho hàng triệu tàu thuyền. MapReduce là một mô hình lập trình cho phép dễ dàng phát triển các ứng dụng song song có thể mở rộng để xử lý dữ liệu lớn trên các cụm máy tính [1]. Trong bài nghiên cứu này, một thuật toán gom cụm được gọi là K-means dựa trên mô hình MapReduce để xử lý dữ liệu hàng hải tàu biển tại khu vực miền Nam, Việt Nam. Với kết quả thu được, chúng tôi đưa ra suy luận hoặc dự đoán về dữ liệu gom cụm mà chúng được thu thập và sau đó là hiển thị dữ liệu của các hàng hải tàu biển, bao gồm quy mô, hướng và phân bố không gian.