Mô hình xử lý dữ liệu lớn trên điện toán đám mây theo mô hình ánh xạ - rút gọn

Tóm tắt

Ngày nay, chúng ta đang sống trong thời đại thông tin, với sự tăng trưởng bùng nổ thông tin theo cấp số nhân[1]. Những công ty hàng đầu về công nghệ thông tin như Google, Yahoo, Facebook, Twitter,... đang đối mặt với khối lượng dữ liệu khổng lồ. Sự tăng trưởng này đòi hỏi phải có chiến lược mới để phân tích và xử lý dữ liệu. Điện toán đám mây được phát triển và ánh xạ - rút gọn (MapReduce) đang là một mô hình tính toán mạnh mẽ để giải quyết vấn đề này. Mô hình MapReduce đưa ra khung lập trình cho các ứng dụng xử lý dữ liệu văn bản có khả năng xử lý nhanh chóng một khối lượng lớn dữ liệu nhờ việc xử lý song song trên cụm lớn các máy tính. Bài viết này trình bày một cách tổng quan về vấn đề xử lý dữ liệu lớn trên nền tảng điện toán đám mây như kiến trúc và thành phần của Hadoop, hệ thống tập tin phân tán (HDFS-Hadoop Distributed File System), mô hình MapReduce và ứng dụng của nó.