MỞ ĐẦU
1. Lý do chọn đề tài
Hơn 40 năm kể từ khi internet ra đời cho đến nay, nó mang lại rất nhiều tiện ích hữu dụng cho người sử dụng điển hình như hệ thống thư điện tử (email), trò chuyện trực tuyến (chat), máy truy tìm dữ liệu (search engine), các dịch vụ thương mại, chuyển ngân và các dịch vụ về y tế giáo dục… Đi kèm với sự bùng nổ các dịch vụ trên internet là sự dùng nổ về số lượng website trên internet, hiện tại số lượng website đã lên con số hàng tỉ và không ngừng tăng lên theo thời gian, đứng đầu là tên miền có đuôi .com, theo thống kê mới nhất đã lên tới 84.000.000 tên miền. Tên miền có đuôi .vn cũng đã lên tới 140.000 tên miền. Chính sự bùng nổ về số lượng website trên internet đã bổ sung cho kho thông tin càng ngày càng khổng lồ hơn và ngày nay hầu như mọi kiến thức của mọi lĩnh vực đều có thể tìm thấy trên internet.
Vấn đề đặt ra ở đây là làm thế nào để tìm kiếm một mẫu thông tin trong kho tàng thông tin khổng lồ như vậy một cách chính xác và nhanh nhất, lời giải cho câu hỏi đó là sử dụng máy tìm kiếm (search engine) và hiện nay nhiều nhà dịch vụ đã sử dụng nó rất thành công, điển hình như: Google, Yahoo, Mirosoft…
Máy tìm kiếm đã xuất hiện và được đưa vào sử dụng từ rất sớm, nhưng để tối ưu hóa sao cho thời gian trả lời kết quả tìm kiếm nhanh nhất và chính xác nhất thì các chuyên gia cũng đang ngày càng hoàn thiện.
Trong thời gian gần đây nhờ sự phát triển vượt bậc của lĩnh vực phần cứng CNTT và truyền thông, nhờ vậy mà một giải pháp mới cho các ứng dụng CNTT được ra đời và đang được các chuyên gia đánh giá cao về lợi ích mà mó mang lại đó là “Hệ phân tán – Distributed Systems”.
Hệ phân tán là hệ thống xử lý thông tin bao gồm nhiều bộ xử lý hoặc bộ vi xử lý nằm tại các vị trí khác nhau được liên kết với nhau thông qua phương tiện viễn thông dưới sự điều khiển thống nhất của một hệ điều hành nhằm tăng tốc độ bình quân trong tính toán xử lý, cải thiện tình trạng luôn sẵn sàng của các loại tài nguyên, tăng độ an toàn cho dữ liệu, đa dạng hóa các loại hình dịch vụ tin học, bảo đảm tính toàn vẹn của thông tin.
Xuất phát từ nhu cầu và các tiền đề trên, việc tối ưu hóa máy tìm kiếm thông tin, mà đặc biệt là tối ưu thời gian tìm kiếm thông tin của máy tìm kiếm là vấn đề rất có ý nghĩa trong giai đoạn CNTT hiện nay và tương lai. Chính vì vậy tôi chọn hướng nghiên cứu này và áp dụng “hệ phân tán” để tối ưu thời gian xử lý cho máy tìm kiếm và lấy tên đề tài là “ứng dụng hệ phân tán để tối ưu thời gian xử lý cho máy tìm kiếm”.
2. Mục đích và nghiệm vụ nghiên cứu của đề tài
Mục đích của đề tài là nghiên cứu áp dụng hệ phân tán vào máy tìm kiếm nhằm giải quyết 3 yêu cầu đặt ra như sau:
Một: Giảm thời gian tìm kiếm cho máy tìm kiếm: có 3 nguyên nhân chính
+ Giảm tải lượng truy cập vào tài nguyên chung
+ Rút ngắn khoảng cách vật lý giữa người dùng và server
+ Tăng tốc độ tính toán – xử lý
Hai: Tăng độ an toàn cho dữ liệu cho máy tìm kiếm: có 3 nguyên nhân chính
+ Dữ liệu được đặt tại nhiều server khác nhau và có khả năng phục hồi
+ Đảm bảo tính đồng bộ dữ liệu giữa các server
+ Đảm bảo được tính toàn vẹn của dữ liệu
Ba: Đảm bảo hệ thống luôn hoạt động thông suốt: có 3 nguyên nhân chính
+ Tính co giãn của hệ thống cao
+ Tính chịu lỗi của hệ thống cao
+ Tính mở của hệ thống cao
3. Đối tượng và phạm vi nghiên cứu
– Nghiên cứu mô hình hoạt động tổng thể của máy tìm kiếm và một số giải pháp tìm kiếm thông dụng
– Nghiên cứu hệ phân tán đa server
+ Xây dựng hệ phân tán đa server
+ Lưu trữ, truy xuất dữ liệu trên hệ phân tán đa server
– Nghiên cứu, ứng dụng hệ phân tán vào máy tìm kiếm
– Nghiên cứu và áp dụng bộ định tuyến ưu tiên yêu cầu (Request) người dùng
– Ngôn ngữ lập trình Java, Lucene
– Hệ quản trị cơ sở dữ liệu My SQL
4. Giả thiết nghiên cứu
– Hiểu được quá trình hoạt động và một số giải pháp xây dựng máy SE
– Hiểu được bản chất của hệ phân tán và quá trình trao đổi thông tin giữa các thành phần trong hệ
– Hiểu thêm ngôn ngữ lập trình Java, Lucene và hệ quản trị cơ sở dữ liệu My SQL
– Hiểu và vận dụng được giải pháp ứng dụng hệ phân tán để tối ưu thời gian tìm kiếm cho máy SE
5. Phương pháp nghiên cứu
– Thu thập, tìm hiểu, phân tích các tài liệu và thông tin có liên quan đến luận văn
– Phân tích, nắm rõ quá trình hoạt động của máy tìm kiếm
– Nắm rõ cách xây dựng, truy xuất và lưu trữ dữ liệu trên hệ phân tán
– Phân tích, tìm hướng giải quyết cho các vấn đề nảy sinh khi áp dụng hệ phân tán vào máy SE Triển khai xây dựng chương trình chạy trên hệ phân tán
– Triển khai xây dựng chương trình chạy trên hệ tập trung Kiểm thử, đánh giá kết quả và rút ra kết luận
6. Ý nghĩa khoa học và thực tiễn của đề tài
– Nghiên cứu, nắm vững phương pháp thực hiện của máy tìm kiếm
– Nghiên cứu, nắm vững bản chất và phương pháp hoạt động của hệ phân tán máy chủ
– Nghiên cứu, xây dựng một mô hình lưu trữ thông tin mới cho máy tìm kiếm
– Giảm đáng kể thời gian thực hiện cho máy tìm kiếm
– Tăng độ an toàn cho dữ liệu
– Đảm bảo hệ thống luôn thông suốt
– Mang lại lợi ích ứng dụng rất lớn
