Gradient descent

Bài giảng Học máy thống kê: Gradient giảm (Gradient Descent) nhắc lại kiến thức giải tích nhiều biến, đi sâu vào thuật toán Gradient Descent, Gradient Descent ngẫu nhiên và Mini-Batch Gradient Descent. Hiểu rõ thuật toán này là chìa khóa để tối ưu hóa hiệu suất mô hình của bạn. Mời các bạn cùng tham khảo bài giảng để biết thêm chi tiết!

28p hoatrongguong03 15-05-2025 0 0   Download

In this paper, we propose a single-step Deep Neural Network (DNN) for CE, termed Iterative Sequential DNN (ISDNN), inspired by recent developments in data detection algorithms. ISDNN is a DNN based on the projected gradient descent algorithm for CE problems, with the iterative iterations transforming into a DNN using the deep unfolding method.

7p vijiraiya 19-05-2025 1 1   Download

Bài giảng "Trí tuệ nhân tạo" Chương 5 - Hồi quy tuyến tính, cung cấp kiến thức cơ bản và chuyên sâu về mô hình hồi quy tuyến tính – một thuật toán học máy nền tảng trong lĩnh vực Trí tuệ nhân tạo (AI). Nội dung bao gồm cách xây dựng mô hình hồi quy, hàm mất mát, phương pháp tối ưu hóa gradient descent, cũng như đánh giá và kiểm định mô hình bằng các chỉ số thống kê. Bài giảng phù hợp cho sinh viên ngành CNTT, Khoa học dữ liệu, và những ai quan tâm đến ứng dụng học máy trong phân tích dữ liệu thực tế.

29p phongtrongkim0906 16-05-2025 2 1   Download

Trong học máy, tối ưu hóa là quá trình quan trọng để đạt được hiệu suất cao nhất cho các mô hình. Hai công cụ then chốt trong quá trình này là đạo hàm và vi phân, giúp tính toán gradient và điều hướng tối ưu. Bài viết này tập trung vào vai trò của đạo hàm và vi phân trong Gradient Descent và Backpropagation – hai kỹ thuật quan trọng trong tối ưu hóa học máy.

7p visarada 28-04-2025 1 1   Download

Bài giảng "Máy học nâng cao: Linear regression" cung cấp cho người đọc các nội dung: Khái niệm hồi qui tuyến tính (Linear Regression), hồi qui tuyến tính đơn biến, hồi qui tuyến tính đa biến, phương pháp ước lượng tham số, các mở rộng, linear regression dùng Gradient Descent, câu hỏi và bài tập

64p myhouse06 24-03-2025 5 1   Download

Bài viết "Sự hội tụ của hàm lồi mạnh và hàm trơn" tìm hiểu các hàm trơn, hàm lồi, hàm lồi mạnh và các tính chất của chúng. Sau đó, chứng minh các bước lặp của thuật toán Gradient Descent là hội tụ sau một số vòng lặp...

7p kimphuong23 17-07-2023 11 3   Download

Thực hành Toán cao cấp - Chương 6: Hàm số, dãy và một số ứng dụng. Chương này cung cấp cho học viên những nội dung về: giới thiệu lập trình đệ quy trong Python; dãy số (sequence) đệ quy; revisit: phương pháp Gradient Ascent/Descent;... Mời các bạn cùng tham khảo!

21p gianghavan18 18-08-2022 24 2   Download

Bài giảng "Máy học nâng cao: Linear regression" cung cấp cho người học các kiến thức: Khái niệm hồi qui tuyến tính, hồi qui tuyến tính đơn biến, hồi qui tuyến tính đa biến, linear regression dùng gradient descent,... Mời các bạn cùng tham khảo.

64p abcxyz123_08 11-04-2020 30 4   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 5: Gradient descent" cung cấp cho người học các kiến thức: Gradient descent, gradient descent interpretation, fixed step size, backtracking line search,... Mời các bạn cùng tham khảo.

31p abcxyz123_08 11-04-2020 49 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 6: Subgradients" cung cấp cho người học các kiến thức: Last time - gradient descent, subgradients, examples of subgradients, monotonicity, examples of non-subdifferentiable functions,... Mời các bạn cùng tham khảo.

36p abcxyz123_08 11-04-2020 46 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 7: Subgradient method" cung cấp cho người học các kiến thức: Last last time - gradient descent, subgradient method, step size choices, convergence analysis, lipschitz continuity, convergence analysis - Proof,... Mời các bạn cùng tham khảo.

34p abcxyz123_08 11-04-2020 28 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 8: Proximal gradient descent (and acceleration)" cung cấp cho người học các kiến thức: Subgradient method, decomposable functions, proximal mapping, proximal gradient descent,.... Mời các bạn cùng tham khảo.

50p abcxyz123_08 11-04-2020 24 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 9: Stochastic gradient descent" cung cấp cho người học các kiến thức: Proximal gradient descent, stochastic gradient descent, convergence rates, early stopping, mini-batches. Mời các bạn cùng tham khảo.

24p abcxyz123_08 11-04-2020 55 3   Download

Bài giảng Khai phá dữ liệu (Data mining): Linear regression, chương này trình bày những nội dung về: khái niệm hồi qui tuyến tính (linear regression); hồi qui tuyến tính đơn biến; hồi qui tuyến tính đa biến; phương pháp ước lượng tham số; các mở rộng; linear regression dùng gradient descent;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

64p diepkhinhchau 18-09-2023 36 5   Download

Bài giảng Trí tuệ nhân tạo (Artificial intelligence) - Chương 6.2: Học máy. Chương này cung cấp cho sinh viên những nội dung gồm: học cây quyết định; phép biểu diễn dựa trên thuộc tính; cây quyết định; mạng nơron; biểu diễn mạng nơron; luật huấn luyện Perceptron;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

53p codabach1016 03-05-2024 15 5   Download

Tuyển tập báo cáo các nghiên cứu khoa học quốc tế ngành hóa học dành cho các bạn yêu hóa học tham khảo đề tài: A Neural Network MLSE Receiver Based on Natural Gradient Descent: Application to Satellite Communications Mohamed Ibnkahla

12p sting12 11-03-2012 49 7   Download

EURASIP Journal on Applied Signal Processing 2003:12, 1229–1237 c 2003 Hindawi Publishing Corporation Nonlinear System Identification Using Neural Networks Trained with Natural Gradient Descent Mohamed Ibnkahla Electrical and Computer Engineering Department, Queen’s University, Kingston, Ontario, Canada K7L 3N6 Email: mohamed.ibnkahla@ece.queensu.ca Received 13 December 2002 and in revised form 17 May 2003 We use natural gradient (NG) learning neural networks (NNs) for modeling and identifying nonlinear systems with memory.

9p sting12 10-03-2012 45 6   Download

descent with momentum Traingdx : Adaptive learning rate Trainrp : Resilient backpropagation Traincgf : Fletcher-Reeves conjugate gradient Traincgp : Polak-Ribiere conjugate gradient... 

12p ngochaigl 25-06-2011 384 67   Download

Data-Reusing Adaptive Learning Algorithms In this chapter, a class of data-reusing learning algorithms for recurrent neural networks is analysed. This is achieved starting from a case of feedforward neurons, through to the case of networks with feedback, trained with gradient descent learning algorithms. It is shown that the class of data-reusing algorithms outperforms the standard (a priori ) algorithms for nonlinear adaptive filtering in terms of the instantaneous prediction error.

14p doroxon 12-08-2010 104 10   Download