Método do Gradiente

O Método do Gradiente é um procedimento iterativo para minimizar uma função objetivo. Ele usa o gradiente (primeira derivada) da função para determinar a direção de descida mais íngreme, ou seja, a direção na qual a função decresce mais rapidamente.

O método do gradiente é mais facilmente entendido em termos matemáticos. Abaixo estão as principais etapas descritas usando equações:

Inicialização

Escolha um ponto inicial e defina critérios de parada como um número máximo de iteraçõesou uma tolerância.

Algoritmo Iterativo

Para cada iteração :

1. Calcular o Gradiente: Calcule o gradiente da função objetivo no ponto.

2. Direção de Descida: A direção de descida é o oposto ao gradiente calculado. Vamos denotar esta direção como .

3. Tamanho de Passo: Escolha um tamanho de passo que minimize ao longo da direção de . Isso pode ser feito usando uma busca em linha, por exemplo.

4. Atualizar o Ponto: Atualize o ponto atual movendo-se na direçãopelo tamanho de passo.

5. Critérios de Parada: Pare se ou se atingiu o número máximo de iterações .

O algoritmo é repetido até que um dos critérios de parada seja atendido.