Stahování souborů ze seznamu

111

Jak mohu stáhnout soubory (které jsou uvedeny v textovém souboru) pomocíwget nebo nějakým jiným automatickým způsobem?

Seznam vzorových souborů:

www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
    
dané Sourav 12.02.2012 17:39

7 odpovědí

193

wget má vestavěný příznak pro toto:wget -i your_list Tuto věc najdete tak, že čteteman wget

    
odpověděl aureianimus 12.02.2012 17:56
81

Získejte je paralelně s

cat urlfile | parallel --gnu "wget {}"

Ve výchozím nastavení bude spuštěn tolik procesů, kolik máte jádra, pravděpodobně to zrychlíte ještě dalších 10x, pokud je opravdu chcete vyndat rychle přidáním "-j 20" po paralelním.

    
odpověděl meawoppl 17.10.2013 17:57
9
xargs -i wget 'http://{}'  < your_list
    
odpověděl Florian Diesch 12.02.2012 17:53
7

parallel má vestavěný příznak--arg-file (-a), který použije vstupní soubor jako zdroj, takže se můžete vyhnoutcat |. Můžete použít

parallel --gnu -a urlfile wget

Nebo jednodušeparallel --gnu wget < urlfile

    
odpověděl yxogenium 18.06.2016 14:01
5
awk '{print "http://" %pr_dfe%;}' list.txt | xargs -l1 wget

, kde list.txt je soubor seznamu

    
odpověděl flo 12.02.2012 17:51
4

Viděl jsem odpověď Floriana Diesche.

Mám to fungovat tak, že do příkazu přidáte parametrbqc.

xargs -i wget -bqc 'http://{}' < download.txt

Všechny stahování byly spuštěny paralelně na pozadí.

  • -b: Pozadí. Přejděte na pozadí bezprostředně po spuštění
  • % ko_kde%: Tiché. Vypněte výstup wgetu
  • -q: Pokračovat. Pokračujte v získávání částečně staženého souboru
odpověděl streetlife 04.05.2015 18:56
1

Odkaz na soubor links.txt

Příkaz pro načtení všech souborů odkazů

    cat links.txt | wget -i
    
odpověděl DreamCoder 19.05.2015 04:54