AdaGradDA

lớp công khai AdaGradDA

Trình tối ưu hóa triển khai thuật toán Trung bình kép Adagrad.

Trình tối ưu hóa này đảm nhiệm việc thường xuyên hóa các tính năng không nhìn thấy trong một lô nhỏ bằng cách cập nhật chúng khi chúng được nhìn thấy bằng quy tắc cập nhật biểu mẫu đóng tương đương với việc cập nhật chúng trên mỗi lô nhỏ.

AdagradDA thường được sử dụng khi có nhu cầu về độ thưa thớt lớn trong mô hình được đào tạo. Trình tối ưu hóa này chỉ đảm bảo tính thưa thớt cho các mô hình tuyến tính. Hãy cẩn thận khi sử dụng AdagradDA cho các mạng sâu vì nó sẽ yêu cầu khởi tạo cẩn thận bộ tích lũy gradient để huấn luyện.

Xem thêm

Hằng số

Sợi dây TÍCH LŨY
trôi nổi INITIAL_ACCUMULATOR_DEFAULT
trôi nổi L1_STRENGTH_DEFAULT
trôi nổi L2_STRENGTH_DEFAULT
trôi nổi LEARNING_RATE_DEFAULT
Sợi dây SQUARED_ACCUMULATOR

Hằng số kế thừa

Nhà xây dựng công cộng

AdaGradDA ( Đồ thị đồ thị )
Tạo Trình tối ưu hóa AdaGradDA
AdaGradDA (Biểu đồ đồ thị , float learningRate)
Tạo Trình tối ưu hóa AdaGradDA
AdaGradDA (Biểu đồ đồ thị , float learningRate, float initAccumulatorValue, float l1Strength, float l2Strength)
Tạo Trình tối ưu hóa AdaGradDA
AdaGradDA (Biểu đồ đồ thị , Tên chuỗi, float learningRate)
Tạo Trình tối ưu hóa AdaGradDA
AdaGradDA ( Biểu đồ đồ thị , Tên chuỗi, float learningRate, float initAccumulatorValue, float l1Strength, float l2Strength)
Tạo Trình tối ưu hóa AdaGradDA

Phương pháp công khai

Sợi dây
getOptimizerName ()
Lấy tên của trình tối ưu hóa.
Sợi dây
toString ()

Phương pháp kế thừa

Hằng số

chuỗi tĩnh cuối cùng công khai ACCUMULATOR

Giá trị không đổi: "gradient_accumulator"

float cuối cùng tĩnh công khai INITIAL_ACCUMULATOR_DEFAULT

Giá trị không đổi: 0,1

float cuối cùng tĩnh công khai L1_STRENGTH_DEFAULT

Giá trị không đổi: 0,0

float cuối cùng tĩnh công khai L2_STRENGTH_DEFAULT

Giá trị không đổi: 0,0

float cuối cùng tĩnh công khai LEARNING_RATE_DEFAULT

Giá trị không đổi: 0,001

Chuỗi cuối cùng tĩnh công khai SQUARED_ACCUMULATOR

Giá trị không đổi: "gradient_squared_accumulator"

Nhà xây dựng công cộng

AdaGradDA công khai (Biểu đồ đồ thị )

Tạo Trình tối ưu hóa AdaGradDA

Thông số
đồ thị đồ thị TensorFlow

AdaGradDA công khai (Biểu đồ đồ thị , float learningRate)

Tạo Trình tối ưu hóa AdaGradDA

Thông số
đồ thị đồ thị TensorFlow
tỷ lệ học tỷ lệ học tập

AdaGradDA công khai (Biểu đồ đồ thị , float learningRate, float initAccumulatorValue, float l1Strength, float l2Strength)

Tạo Trình tối ưu hóa AdaGradDA

Thông số
đồ thị đồ thị TensorFlow
tỷ lệ học tỷ lệ học tập
giá trị tích lũy ban đầu Giá trị bắt đầu của bộ tích lũy phải lớn hơn 0.
l1Sức mạnh l1 cường độ chính quy, phải lớn hơn hoặc bằng 0.
l2Sức mạnh l2 cường độ chính quy, phải lớn hơn hoặc bằng 0.
Ném
Ngoại lệ Đối số bất hợp pháp nếu initAccumulatorValue không lớn hơn 0 hoặc l1Strength hoặc l2Strength nhỏ hơn 0

AdaGradDA công khai (Biểu đồ đồ thị , Tên chuỗi, float learningRate)

Tạo Trình tối ưu hóa AdaGradDA

Thông số
đồ thị đồ thị TensorFlow
tên tên của Trình tối ưu hóa này (mặc định là 'adagrad-da')
tỷ lệ học tỷ lệ học tập

AdaGradDA công khai (Biểu đồ đồ thị , Tên chuỗi, float learningRate, float initAccumulatorValue, float l1Strength, float l2Strength)

Tạo Trình tối ưu hóa AdaGradDA

Thông số
đồ thị đồ thị TensorFlow
tên tên của Trình tối ưu hóa này (mặc định là 'adagrad-da')
tỷ lệ học tỷ lệ học tập
giá trị tích lũy ban đầu Giá trị ban đầu của bộ tích lũy phải dương
l1Sức mạnh l1 cường độ chính quy, phải lớn hơn hoặc bằng 0.
l2Sức mạnh l2 cường độ chính quy, phải lớn hơn hoặc bằng 0.
Ném
Ngoại lệ Đối số bất hợp pháp nếu initAccumulatorValue không lớn hơn 0 hoặc * l1Strength hoặc l2Strength nhỏ hơn 0

Phương pháp công khai

Chuỗi công khai getOptimizerName ()

Lấy tên của trình tối ưu hóa.

Trả lại
  • Tên trình tối ưu hóa.

Chuỗi công khai toString ()