Mapreduce

Bài viết này giới thiệu phương pháp phân tích hồ sơ cá nhân bằng cách áp dụng các giải thuật phổ biến vào mô hình Map-Reduce dựa trên Hadoop framework. Đây là phương pháp nhằm tạo ra công cụ hiệu quả, tiết kiệm thời gian và công sức tìm ra danh sách tối ưu những người có cùng sở thích để phục vụ doanh nghiệp tư vấn sản phẩm cho khách hàng.

7p vining2711 09-08-2021 84 9   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 2 - Hệ sinh thái Hadoop" trình bày các nội dung chính sau đây: Apache Hadoop; Hệ thống tệp tin Hadoop (HDFS); Mô thức xử lý dữ liệu MapReduce; Các thành phần khác trong hệ sinh thái Hadoop. Mời các bạn cùng tham khảo!

40p gaupanda025 09-04-2024 21 3   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 6 - Các kĩ thuật xử lý dữ liệu lớn theo khối (Phần 1)" trình bày các nội dung chính sau đây: Mô thức xử lý dữ liệu MapReduce, dữ liệu cho MapReduce, chương trình MapReduce, luồng dữ liêu với bài toán Word Count, MapReduce trên môi trường phân tán,... Mời các bạn cùng tham khảo!

58p gaupanda025 09-04-2024 34 3   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 6 - Các kĩ thuật xử lý dữ liệu lớn theo khối (Phần 2)" trình bày các nội dung chính sau đây: MapReduce với chuỗi các jobs; Toàn cảnh về I/O dữ liệu; RAM có khả năng thay thế ổ đĩa cứng; Một nền tảng xử lý dữ liệu hợp nhất cho dữ liệu lớn;... Mời các bạn cùng tham khảo!

52p gaupanda025 09-04-2024 28 3   Download

Bài giảng Tìm kiếm và trình diễn thông tin - Bài 10: Các phương pháp xây dựng chỉ mục ngược. Bài này cung cấp cho sinh viên những nội dung gồm: phần cứng căn bản; các giải thuật xây dựng chỉ mục ngược: BSBI, SPIMI, MapReduce; quản lý bộ dữ liệu động;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

33p codabach1016 03-05-2024 11 1   Download

Luận văn tập trung nghiên cứu vào mô hình MapReduce, cấu trúc và cách thức hoạt động. Từ đó kết hợp với thuật toán đánh chỉ mục và chỉ mục ngược để thực hiện việc tìm kiếm và thống kê kết quả. Mời các bạn cùng tham khảo!

77p generallady 24-07-2021 17 3   Download

Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu mô hình kiểm soát truy xuất cho dữ liệu lớn được thực hiện với mục tiêu nhằm nghiên cứu về dữ liệu lớn trong tình trạng bùng nổ dữ liệu nói chung, đã và đang đòi hỏi một giải pháp kiểm soát truy xuất chặt chẽ để bảo vệ dữ liệu tránh khỏi những truy xuất không hợp lệ nhằm tăng tính an toàn cho dữ liệu, tăng độ tin cậy dữ liệu cho các ứng dụng liên quan. Mời các bạn cùng tham khảo

106p xusong 12-07-2021 50 6   Download

Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu và ứng dụng Hadoop để khai thác tập phổ biến được thực hiện với mục tiêu nhằm thực hiện thuật toán Apriori trên một số tập dữ liệu mẫu lớn, tính toán trên hệ thống song song Hadoop/MapReduce. Mời các bạn cùng tham khảo.

114p xusong 12-07-2021 106 3   Download

Nội dung luận văn này được trình bày trong bốn chương. Phần giới thiệu về đề tài; chương 1 trình bày các khái niệm cơ bản phục vụ cho đề tài; chương 2 trình bày các kiến thức cơ bản về Hadoop và MapReduce, giới thiệu về kiến trúc của Hadoop, MapReduce cũng như cơ chế làm việc của chúng, Chương 3 sẽ trình bày về việc ứng dụng Hadoop và MapReduce vào mô hình ngôn ngữ; chương 4 giới thiệu về công cụ thực nghiệm và kết quả thực nghiệm. Phần kết luận đưa ra kết luận, định hướng phát triển cho đề tài.

54p hanh_tv26 03-04-2019 59 8   Download

Đề tài "Mô hình ngôn ngữ sử dụng mapreduce" nhằm mục đích nghiên cứu sử dụng Hadoop và MapReduce vào việc xây dựng mô hình ngôn ngữ nhằm cải tiến tốc độ cho việc xây dựng mô hình ngôn ngữ và ước lượng mô hình để có thể thực hiện với lượng dữ liệu rất lớn để đưa ra mô hình ngôn ngữ chính xác hơn. Mời các bạn cùng tìm đọc toàn văn luận văn này.

36p hanh_tv26 03-04-2019 52 5   Download

Hadoop Distributed File System: lưu trữ dữ liệu phân cụm có khả năng tự sửa lỗi với băng thông cao. MapReduce: quản lý tài nguyên phân tán có khả năng chịu lỗi và lập lịch xử lý song song lượng dữ liệu lớn.

13p volylamsao 22-10-2013 79 8   Download

Khi Google tung ra tính năng tìm kiếm hình ảnh vào năm 2001, Google đã có 250 triệu hình ảnh được lập chỉ mục. Gần một thập kỷ sau đó, gã khổng lồ tìm kiếm này đã lập chỉ mục hơn 10 tỷ hình ảnh. Ba mươi lăm giờ nội dung được tải lên YouTube mỗi phút. Tính trung bình, Twitter được cho là xử lý 55 triệu mẫu tin ngắn mỗi ngày. Đầu năm nay, 600 triệu truy cập hàng ngày đã đăng nhập vào tính năng tìm kiếm của Twitter. Đó là những gì chúng tôi muốn đưa...

12p bunmam_1 12-05-2013 101 28   Download

Bộ máy tìm kiếm a. Quy trình tìm kiếm Quy trình tìm kiếm bao gồm có bốn bước: • Truy vấn tìm kiếm được thực hiện bởi người sử dụng bằng cách yêu cầu bộ máy tìm kiếm thực hiện tìm kiếm các từ khóa nào đó. • Bộ máy tìm kiếm sẽ thực hiện xử lý truy vấn • Máy tìm kiếm tìm các từ khóa trong bộ chỉ mục có sẵn của nó • Máy tìm kiếm thực hiện đánh điểm, sắp xếp theo độ phù hợp với yêu cầu tìm kiếm và trả kết quả về cho người dùng....

21p csrieng 01-03-2013 194 58   Download

Là một mô hình mới của máy tính có thể chuyển đổi các tài nguyên máy tính thuộc sở hữu tư nhân vào các dịch vụ điện toán tiện ích công cộng.  Một trong những ứng dụng thành công nhất của điện toán đám mây là việc phân tích các bộ dữ liệu rất lớn. Google’s MapReduce, Sawzall, Yahoo’s Hadoop , Pig, Microsoft’s Dryad …  Hầu hết các dịch vụ điện toán đám mây đều dựa trên công nghệ máy ảo (Vitural machine: VM): Xen và VMware ESX server, … Nguồn tài nguyên phong phú của phần cứng và...

17p thai_an1828 20-10-2011 338 135   Download

Phát triển một ứng dụng MapReduce của Ruby cho Hadoop M. Tim Jones, Tác giả độc lập, Emulex Tóm tắt: Với việc cấu hình, cài đặt và sử dụng Hadoop trong các kiến trúc một nút và nhiều nút đã thu được, bạn có thể chuyển sang nhiệm vụ phát triển các ứng dụng trong cơ sở hạ tầng Hadoop. Bài viết cuối cùng trong loạt bài này tìm hiểu các API (Giao diện lập trình ứng dụng) của Hadoop và luồng dữ liệu và trình bày cách sử dụng của chúng với một ứng dụng trình ánh xạ (mapper)...

18p hoathietmoclan 13-09-2011 261 43   Download