So verwenden Sie Wget, um alles aus dem Internet herunterzuladen

Wget ist ein Befehlszeilenprogramm, mit dem fast alles heruntergeladen werden kann, was im Internet verfügbar ist. Der Haken ist, dass es über HTTP-, HTTPS- oder FTP-Protokolle verfügbar sein sollte. Andernfalls kann Wget es nicht herunterladen. Es gibt eine Reihe von Möglichkeiten, wie Wget verwendet werden kann. Sie können beispielsweise Wget verwenden, um jedes Bild auf einer Website herunterzuladen, oder Sie können auch eine einzelne Datei herunterladen. Wget ist sogar in der Lage, Downloads fortzusetzen, wenn dies möglich ist. Wenn Sie sich also fragen, wie Wget funktioniert und was es für Sie tun kann, erfahren Sie hier, wie Sie Wget verwenden:

Wget installieren

1. Installieren von Wget unter macOS Sierra

Bevor wir mit der Verwendung von Wget beginnen, müssen wir es auf unserem System installieren. Glücklicherweise ist in den meisten Linux-Distributionen Wget vorinstalliert, sodass Sie keine zusätzlichen Arbeiten ausführen müssen. Wenn Sie jedoch einen Mac verwenden, müssen Sie Wget installieren. Dies kann einfach mit Homebrew (herunterladen). Wenn Sie Hilfe benötigen, müssen Sie die folgenden Schritte ausführen:

  • Zuerst müssen Sie Homebrew auf Ihrem Mac installieren, um Wget herunterladen zu können. Starten Sie dazu einfach das Terminal und geben Sie den folgenden Befehl ein:

/ usr / bin / ruby ​​-e “$ (curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”

Installieren Sie Homebrew auf Mac Schritt eins

  • Nach Abschluss des Befehls wird Homebrew auf Ihrem System installiert. Sie können jetzt Homebrew verwenden, um Pakete wie Wget zu installieren. Führen Sie im Terminal einfach den folgenden Befehl aus:

brauen installieren wget

Installiere wget auf dem Mac mit Homebrew

  • Homebrew beginnt automatisch mit dem Herunterladen, Entpacken und Installieren von Wget auf Ihrem System. Dieser Schritt kann abhängig von Ihrer Netzwerkgeschwindigkeit einige Zeit dauern. Seien Sie also geduldig. Sobald der Befehl ausgeführt wurde, sollten Sie Wget auf Ihrem Mac verwenden können. Um zu überprüfen, ob es installiert wurde, verwenden Sie einfach den folgenden Befehl:

wget -V

Überprüfen Sie die wget-Installation

2. Installieren von Wget unter Windows

Die Installation von Wget unter Windows erfordert etwas mehr Aufwand, ist jedoch problemlos möglich. Wenn Sie Wget auf Ihrem Windows-PC installieren möchten, führen Sie einfach die folgenden Schritte aus:

  • Zuerst, herunterladen Cygwin, und führen Sie dann die heruntergeladene Setup-Datei aus.
  • Wenn Sie nach der Standard-Downloadquelle gefragt werden, wählen Sie die Option “Aus dem Internet installieren” und klicken Sie auf “Weiter”.

aus dem Internet installieren

  • Wählen Sie ein Installationsverzeichnis für Cygwin sowie ein Verzeichnis, in dem Paketdateien für die Installation von Dienstprogrammen gespeichert werden.

Installationsverzeichnis

  • Im nächsten Bildschirm müssen Sie Ihre Internetverbindung auswählen. Wenn Sie einen Proxy verwenden, wählen Sie den Proxy-Typ aus und geben Sie die Details ein. Für die meisten Benutzer wäre die Wahl jedoch “Direktverbindung”.

direkte Verbindung

  • Daraufhin wird eine Liste mit Spiegeln angezeigt. Wählen Sie einen dieser Spiegel aus, um Cygwin herunterzuladen. Wenn der Download fehlschlägt, können Sie es erneut mit einem anderen Spiegel versuchen.

wähle Spiegel

  • Suchen Sie im nächsten Fenster nach “wget” und klicken Sie in der angezeigten Liste auf das Pluszeichen neben “web”. Hier wird das Kontrollkästchen neben “wget” automatisch aktiviert. Klicken Sie einfach auf “Weiter”.

Suche nach wget

  • Der nächste Bildschirm zeigt Ihnen die Pakete, die heruntergeladen werden müssen. Klicken Sie einfach auf “Weiter”.

Abhängigkeiten weiter

  • Nach Abschluss der Installation werden Sie gefragt, ob Sie ein Desktop-Symbol erstellen und / oder einen Eintrag zum Startmenü hinzufügen möchten. Dies ist eine Frage der persönlichen Präferenz, aber ich würde vorschlagen, dass Sie es zumindest zum Startmenü hinzufügen, damit Sie es leicht finden können.

Desktop Icon erstellen

Das ist es. Wget ist jetzt auf Ihrem Windows-PC installiert. Sie können es jedoch nicht über die Eingabeaufforderung ausführen. Stattdessen müssen Sie das Cygwin-Terminal starten und von dort aus Wget verwenden.

Wie benutzt man Wget?

Nachdem wir Wget auf unserem System eingerichtet haben, wollen wir uns alle coolen Möglichkeiten ansehen, wie wir mit Wget Dateien, Ordner und sogar ganze Websites aus dem Internet herunterladen können. Hier sind einige interessante Dinge, die Sie mit Wget auf Ihrem System tun können.

Hinweis: Ich verwende Wget auf einem MacBook Air mit MacOS Sierra 10.12.3 Beta. Da das von uns verwendete Dienstprogramm jedoch dasselbe ist (Wget), sind die Befehle auf jedem Betriebssystem, auf dem Sie Wget verwenden, dieselben.

1. Verwenden Sie Wget, um Dateien herunterzuladen

Mit Wget können Sie problemlos Dateien aus dem Internet herunterladen. Verwenden Sie einfach den folgenden Befehl

wget

Verwenden Sie wget, um Dateien herunterzuladen

  • Laden Sie eine Datei herunter und speichern Sie sie unter einem bestimmten Dateinamen

Dateien auf Servern haben manchmal die seltsamsten Namen, und Sie möchten die Datei möglicherweise herunterladen und von Wget automatisch in etwas umbenennen lassen, das für Sie sinnvoller ist. Verwenden Sie dazu einfach den folgenden Befehl

wget -o <output_file.extension>

Verwenden Sie wget, um Dateien herunterzuladen und unter dem Dateinamen zu speichern

  • Laden Sie nur bestimmte Dateitypen herunter

Ein Webserver kann eine Reihe verschiedener Dateien hosten. Was ist, wenn Sie nur alle PDFs auf den Server oder möglicherweise alle GIFs herunterladen möchten? Verwenden Sie einfach den folgenden Befehl:

wget -r -A pdf

Verwenden Sie wget, um bestimmte Dateitypen herunterzuladen

Dieser spezielle Befehl wurde von Mark Zuckerberg in seinem Schlafsaal in Harvard verwendet, um alle Bilder mit nur einem Befehl herunterzuladen und die berüchtigte Website „acesmash.com “zu erstellen.

wget -r -A jpg, jpeg, png, bmp

Verwenden Sie wget, um mehrere Dateitypen mit Akzeptanzliste herunterzuladen

2. Laden Sie mit Wget Dateien von mehreren URLs herunter

Angenommen, Sie müssen Dateien von verschiedenen Orten im Internet herunterladen. Es kann eine PDF-Datei auf URL1, eine wichtige ZIP-Datei auf URL2 und etwas anderes in URL3 geben. Wenn Sie Wget auf herkömmliche Weise verwendet haben, müssen Sie es dreimal ausführen. Es gibt jedoch einen viel einfacheren Weg, dies zu tun.

  • Erstellen Sie zunächst eine Datei mit allen URLs, von denen Sie Daten herunterladen müssen. Stellen Sie sicher, dass Sie jede URL in einer eigenen Zeile halten. Speichern Sie die Datei und stellen Sie sicher, dass Sie sich den Namen merken.

Datei mit URLs

  • Verwenden Sie im Terminal den folgenden Befehl, um Dateien von allen URLs herunterzuladen:

wget -i

Verwenden Sie eine externe Datei, um URLs anzugeben

Dabei ist “Dateiname” der Name der Datei, die Sie mit allen URLs erstellt haben, von denen Sie Inhalte herunterladen müssen.

3. Laden Sie eine gesamte Website mit Wget herunter

Ja, das hast du richtig gelesen. Mit Wget können Sie auch den Inhalt einer gesamten Website herunterladen. Wenn die Website zu groß ist, dauert der Abschluss dieses Befehls natürlich sehr lange, ganz zu schweigen davon, dass er viel Speicherplatz auf Ihrem System beansprucht. Wenn Sie jedoch Wget zum Herunterladen einer gesamten Website verwenden möchten, verwenden Sie einfach den folgenden Befehl:

wget –mirror -p -P ./LOCAL-DIR WEBSITE-URL

Laden Sie die gesamte Website mit wget herunter

Dadurch wird die gesamte Website in einen Ordner „LOCAL-DIR“ in Ihrem Arbeitsverzeichnis heruntergeladen. Die Dateien der Website werden dank der „WEBSITE-URL“ in einem Ordner mit demselben Namen wie die Website gespeichert.

4. Verwenden Sie Wget als Web Spider

Sie können Wget auch dazu bringen, sich wie ein Webcrawler (oder eine Webspinne) zu verhalten. Dies ist hilfreich, wenn Sie bestätigen möchten, dass die URL für die Datei, die Sie herunterladen möchten, gültig ist. Verwenden Sie einfach den folgenden Befehl, um Wget als Web-Spider zu verwenden und die Gültigkeit von URLs zu überprüfen:

wget –spider

benutze wget als Spinne

Dadurch wird überprüft, ob die von Ihnen erwähnte URL vorhanden ist, und Sie erhalten eine Antwort mit den Ergebnissen der Überprüfung.

positive Antwort

negative Antwort

5. Fahren Sie mit unvollständigen Downloads fort

Dies ist eine weitere wirklich coole Sache, die Wget machen kann. Angenommen, Sie haben eine Datei mit Wget heruntergeladen, mussten aber aus irgendeinem Grund Ihren Laptop herunterfahren. Wenn Sie das nächste Mal versuchen möchten, dieselbe Datei herunterzuladen, kann Wget den Download tatsächlich für Sie fortsetzen. Sie müssen nur sicherstellen, dass Sie sich in demselben Ordner befinden, in den Sie die Datei das letzte Mal heruntergeladen haben, und dann den folgenden Befehl verwenden:

wget -c

Download fortsetzen

Wenn Wget feststellt, dass ein Teil der Datei bereits in Ihrem System vorhanden ist, wird der Download automatisch fortgesetzt.

Hinweis: Wenn die Datei auf dem Server seit dem letzten Versuch, sie herunterzuladen, geändert wurde, sollten Sie diesen Befehl nicht verwenden, da dies zu einer beschädigten Datei führt, die Sie nicht lesen können.

Wenn der Server keine weiteren Downloads zulässt, lehnt Wget es ab, den Download von Grund auf neu zu starten. Wenn Sie den Download von Grund auf neu starten möchten, müssen Sie zuerst die teilweise heruntergeladene Datei von Ihrem System löschen.

Es gibt einige weitere Bedingungen für die Verwendung dieses Arguments, und Sie können mehr darüber auf der Website lesen Wget Manpage.

6. Begrenzen Sie die Download-Geschwindigkeit

Wenn Sie Wget zum Herunterladen von Dateien verwenden und daneben im Internet surfen, möchten Sie wahrscheinlich nicht, dass Wget Ihre gesamte Bandbreite verbraucht. Glücklicherweise enthält Wget ein Argument, mit dem Sie die Bandbreite begrenzen können, die Wget zum Herunterladen von Dateien auf Ihr System verwenden kann:

wget –limit-rate =

Download-Geschwindigkeit begrenzen

Hinweis: Beachten Sie, dass die Geschwindigkeit in Bytes und nicht in Bits angegeben wird. Wenn Sie also Wget –limit-rate = 20k verwenden, wird die Bandbreitennutzung auf 20 kB und nicht auf 20 kb begrenzt.

7. Verwenden Sie Wget, um Dateien von FTP-Servern herunterzuladen

Wenn Sie eine Datei von einem FTP-Server herunterladen müssen, können Sie dies auch mit Wget tun. Verwenden Sie einfach den folgenden Befehl, um Dateien von FTP-Servern herunterzuladen:

wget

wget ftp

  • Laden Sie Dateien von FTP-Servern mit Login herunter

Wenn Ihr FTP-Server eine Anmeldung benötigt, um das Herunterladen von Dateien zu ermöglichen, können Sie die Anmeldeinformationen auch einfach mit Wget übergeben. Verwenden Sie einfach den folgenden Befehl:

wget –ftp-username = USERNAME –ftp-password = PASSWORD

wget ftp auth

<

p style=”text-align: center;”>SIEHE AUCH: 30 Mac Terminal-Befehle für den Zugriff auf versteckte Funktionen

Verwenden Sie Wget, um Dateien aus dem Internet herunterzuladen

Sie können Wget verwenden, um Dateien von überall im Internet herunterzuladen. Während Wget fast immer funktioniert, gibt es bestimmte Server, die den Zugriff auf Wget verhindern. In diesem Fall können Sie versuchen, den -user-agent für Ihren Wget-Befehl zu ändern. Dies ist jedoch keine empfohlene Vorgehensweise, es sei denn, Sie wissen genau, was Sie tun. Mit Wget können Sie zum größten Teil jede Datei aus dem Internet herunterladen, solange Sie Zugriff darauf und deren URL haben.

Haben Sie Wget jemals verwendet, um Dateien aus dem Internet herunterzuladen? Teilen Sie uns Ihre Erfahrungen mit der Verwendung von Wget zum Herunterladen von Dateien über die Protokolle HTTP, HTTPS und FTP mit. Wenn Sie einige andere Verwendungszwecke von Wget kennen, die Ihrer Meinung nach auf dieser Liste stehen sollten, teilen Sie uns dies im Kommentarbereich unten mit.

Similar Posts

Leave a Reply

Your email address will not be published. Required fields are marked *