☰

Como posso curl -IL todas as páginas do site começando com a página raiz e não apenas uma página por vez?

tag-icon • tag-icon nginx cache fastcgi curl
Como posso curl -IL todas as páginas do site começando com a página raiz e não apenas uma página por vez?

Eu preciso curl -IL todo o site e talvez fazer um cron job ou algo assim a cada 24 horas para que o fastcgi possa armazenar em cache todas as páginasvgo

O cache não atinge a menos que eu curl -IL a página da web, então preciso de algo que enrole todas as páginas da web disponíveis no site.

Como você pode ver abaixo:

root@ubuntu-s-1vcpu-1gb-amd-sfo3-01:~# curl -IL https://www.example.com
HTTP/2 200 
date: Thu, 23 Feb 2023 10:31:44 GMT
content-type: text/html; charset=UTF-8
link: <https://www.example.com/wp-json/>; rel="https://api.w.org/"
link: <https://www.example.com/wp-json/wp/v2/pages/16274>; rel="alternate"; type="application/json"
link: <https://www.example.com/>; rel=shortlink
x-fastcgi-cache: HIT
cf-cache-status: DYNAMIC
report-to: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v3?s=2K%2BxMLMMrvGpe%2FdpG38gU%2FKaBPBAL5I3rYNL5ATQ65wPM2qMnQmaCe2jLx88N%2B%2BHeUw1RRI5EnrYh9%2F6P5fj7xAipg%2FnOxi4IV8e4IqPWMyANW9JnKndXGfBZw0r3LtF1IEl"}],"group":"cf-nel","max_age":604800}
nel: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
server: cloudflare
cf-ray: 79df4b241af32f15-LAX
alt-svc: h3=":443"; ma=86400, h3-29=":443"; ma=86400

Responder1

Esse é o WordPress que você está usando aí. Tenho certeza de que existem maneiras melhores de aquecer o cache:https://de.wordpress.org/plugins/search/cache+warm/

Crie um arquivo como warmup.sh com o seguinte código

#!/bin/bash

# URL of main Sitemap
sitemap_url="https://www.vgopromo.com/wp-sitemap.xml"

# Extract all Sitemap URLs
sitemap_urls=$(curl -s "$sitemap_url" | grep -oP '(?<=<loc>)[^<]+')

# Loop over and retrieve the individual URLs
for sitemap in $sitemap_urls; do
    urls=$(curl -s "$sitemap" | grep -oP '(?<=<loc>)[^<]+')
    for url in $urls; do
        curl -IL "$url"
    done
done

Isso fará o que você solicitou.

Você também pode usar um Cronjob que execute este arquivo.

# Example: At minute 15 past every hour.
15 */1 * * * /bin/bash /root/warmup.sh

EDITAR

Este código modificado adiciona a opção de definir também subdomínios.

#!/bin/bash

# Array of Subdomains, just extend in same princip
subdomains=("www" "subdomain_2")

# Loop over Subdomains and retrieve URLs
for subdomain in "${subdomains[@]}"; do
    sitemap_url="https://$subdomain.vgopromo.com/wp-sitemap.xml"
    sitemap_urls=$(curl -s "$sitemap_url" | grep -oP '(?<=<loc>)[^<]+')
    for sitemap in $sitemap_urls; do
        urls=$(curl -s "$sitemap" | grep -oP '(?<=<loc>)[^<]+')
        for url in $urls; do
            curl -IL "$url"
        done
    done
done

Eu pessoalmente sugerirei desta forma. Torna-o compatível com vários projetos

#!/bin/bash

# Array of Domains, just extend in same princip
domains=("https://www.vgopromo.com/wp-sitemap.xml" "https://example.vgopromo.com/wp-sitemap.xml")

# Loop over Domains and retrieve URLs
for domain in "${domains[@]}"; do
    sitemap_url="$domain"
    sitemap_urls=$(curl -s "$sitemap_url" | grep -oP '(?<=<loc>)[^<]+')
    for sitemap in $sitemap_urls; do
        urls=$(curl -s "$sitemap" | grep -oP '(?<=<loc>)[^<]+')
        for url in $urls; do
            curl -IL "$url"
        done
    done
done

informação relacionada