Скачиваем сайты целиком - утилита wget: различия между версиями
Материал из support.qbpro.ru
imported>Vix Нет описания правки |
imported>Vix Нет описания правки |
||
Строка 5: | Строка 5: | ||
Рассмотрим используемые параметры: | Рассмотрим используемые параметры: | ||
-r — указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы. | -r — указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы. | ||
-k — используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить | -k — используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом,<br> чтобы по ним можно было переходить на локальном компьютере (в автономном режиме). | ||
-p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.). | -p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.). | ||
-l — определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5, в примере мы установили 7). | -l — определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5,<br> в примере мы установили 7). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться»,<br> скачивая новые страницы. Чтобы этого не произошло можно использовать параметр -l. | ||
-E — добавлять к загруженным файлам расширение .html. | -E — добавлять к загруженным файлам расширение .html. | ||
-nc — при использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, <br>прерванную в предыдущий раз. | -nc — при использовании данного параметра существующие файлы не будут перезаписаны. <br>Это удобно, когда нужно продолжить загрузку сайта, <br>прерванную в предыдущий раз. | ||
Мы рассмотрели лишь одно из возможных применений утилиты wget. На самом деле область применения wget значительно шире и wget обладает большим числом дополнительных параметров. За более подробной информацией обращайтесь к руководству, выполнив в командной строке: man wget. | Мы рассмотрели лишь одно из возможных применений утилиты wget. На самом деле область применения wget значительно шире и wget обладает большим числом дополнительных параметров. За более подробной информацией обращайтесь к руководству, выполнив в командной строке: man wget. | ||
[http://pingvinus.ru/note/wget-download-sites взято тут] | [http://pingvinus.ru/note/wget-download-sites взято тут] |
Текущая версия от 22:58, 29 мая 2015
Чтобы скачать сайт целиком с помощью wget нужно выполнить команду:
wget -r -k -l 7 -p -E -nc http://site.com/
Рассмотрим используемые параметры:
-r — указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы. -k — используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом,
чтобы по ним можно было переходить на локальном компьютере (в автономном режиме). -p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.). -l — определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5,
в примере мы установили 7). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться»,
скачивая новые страницы. Чтобы этого не произошло можно использовать параметр -l. -E — добавлять к загруженным файлам расширение .html. -nc — при использовании данного параметра существующие файлы не будут перезаписаны.
Это удобно, когда нужно продолжить загрузку сайта,
прерванную в предыдущий раз.
Мы рассмотрели лишь одно из возможных применений утилиты wget. На самом деле область применения wget значительно шире и wget обладает большим числом дополнительных параметров. За более подробной информацией обращайтесь к руководству, выполнив в командной строке: man wget.