Wget은 인터넷에서 사용할 수있는 거의 모든 것을 다운로드하는 데 사용할 수있는 명령 줄 유틸리티입니다. catch는 HTTP, HTTPS 또는 FTP 프로토콜을 통해 사용할 수 있어야합니다. 그렇지 않으면 Wget이 다운로드 할 수 없습니다. Wget을 사용할 수있는 방법에는 여러 가지가 있습니다. 예를 들어 Wget을 사용하여 웹 사이트의 모든 이미지를 다운로드하거나 단일 파일을 다운로드 할 수 있습니다. Wget은 가능한 경우 다운로드를 다시 시작할 수도 있습니다. 따라서 Wget이 어떻게 작동하는지, 그리고 Wget이 어떻게 사용되는지 궁금하다면 Wget 을 사용하는 방법이 있습니다 .
Wget 설치
1. macOS Sierra에 Wget 설치하기
Wget을 사용하기 전에 시스템에 Wget을 설치해야합니다. 다행히도 대부분의 Linux 배포판에는 Wget이 사전 설치되어 있으므로 추가 작업을 할 필요가 없습니다. 그러나 Mac을 사용한다면 Wget을 설치해야합니다. 이것은 Homebrew (다운로드)를 사용하여 쉽게 수행 할 수 있습니다. 도움이 필요한 경우 다음 단계를 따르십시오.
- 먼저 Wget을 다운로드하려면 Mac에 Homebrew를 설치해야합니다. 이렇게하려면 터미널을 시작 하고 다음 명령을 입력하십시오.
/ usr / bin / ruby -e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"
- 명령이 완료된 후 Homebrew가 시스템에 설치 됩니다. 이제 Homebrew를 사용하여 Wget과 같은 패키지를 설치할 수 있습니다. 터미널에서 다음 명령을 실행하십시오.
brew install wget
- Homebrew는 자동으로 Wget의 다운로드, 압축 풀기 및 설치를 시작합니다. 이 단계는 네트워크 속도에 따라 다소 시간이 걸릴 수 있으므로 기다려주십시오. 명령이 완료되면 Mac에서 Wget을 사용할 수 있습니다. 설치되었는지 확인하려면 다음 명령을 사용하십시오.
wget -V
2. Windows에 Wget 설치하기
Windows에 Wget을 설치하는 것은 약간의 노력을 필요로하지만 쉽게 수행 할 수 있습니다. Windows PC에 Wget을 설치하려면 다음 단계를 따르십시오.
- 먼저 Cygwin을 다운로드 한 다음 다운로드 한 설치 파일 을 실행하십시오 .
- 기본 다운로드 소스를 묻는 메시지가 나타나면 " 인터넷에서 설치 "라는 옵션을 선택하고 "다음"을 클릭하십시오 .
- Cygwin 의 설치 디렉토리 와 유틸리티 설치 패키지 파일을 저장할 디렉토리를 선택하십시오.
- 다음 화면에서 인터넷 연결을 선택해야합니다. 프록시를 사용하는 경우 프록시 유형을 선택하고 세부 정보를 입력하십시오. 하지만 대부분의 사용자는 " 직접 연결 "을 선택하게됩니다.
- 그런 다음 미러 목록 이 표시되며 Cygwin을 다운로드하려면이 중 하나를 선택하십시오. 다운로드가 실패하면 다른 미러를 사용하여 다시 시도 할 수 있습니다.
- 다음 창에서 "wget"을 검색하고 나타나는 목록에서 "web" 옆 에있는 더하기를 클릭하십시오. 여기에서 " wget "옆에있는 확인란이 자동으로 선택됩니다. "다음"을 클릭하기 만하면 됩니다.
- 다음 화면에는 다운로드해야하는 패키지가 표시됩니다. "다음"을 클릭하기 만하면 됩니다.
- 설치가 완료되면 바탕 화면 아이콘 을 만들지 묻는 메시지 가 표시되고 시작 메뉴에 항목이 추가됩니다. 이것은 완전히 개인적인 취향의 문제이지만 적어도 시작 메뉴에 추가하면 쉽게 찾을 수 있습니다.
그게 전부 야. Windows PC에 Wget이 설치되었습니다. 그러나 명령 프롬프트에서 실행할 수는 없습니다. 대신 Cygwin 터미널 을 시작하고 거기에서 Wget을 사용해야 합니다.
Wget 사용 방법
이제는 Wget을 설치하고 실행 중이므로 Wget을 사용하여 인터넷에서 파일, 폴더 및 전체 웹 사이트를 다운로드 할 수있는 멋진 방법을 모두 살펴 보겠습니다. 다음은 Wget으로 시스템에서 할 수있는 몇 가지 흥미로운 것들입니다.
참고 : MacOS Sierra 10.12.3 베타가 실행되는 MacBook Air에서 Wget을 사용하고 있습니다. 그러나 우리가 사용하고있는 유틸리티는 동일하므로 (Wget), Wget을 사용하고있는 운영 체제에서 명령이 동일하게됩니다.
1. Wget을 사용하여 파일 다운로드
Wget을 사용하여 인터넷에서 파일을 쉽게 다운로드 할 수 있습니다. 다음 명령을 사용하십시오.
wget
- 파일 다운로드 및 특정 파일 이름으로 저장
서버의 파일은 때로는 가장 이상한 이름을 가지고 있기 때문에 파일을 다운로드하고 Wget이 자동으로 이름을 변경하여 사용자에게 더 적합하게 만들 수 있습니다. 이렇게하려면 다음 명령을 사용하십시오.
wget -o
- 특정 파일 형식 만 다운로드
웹 서버는 여러 다른 파일을 호스팅 할 수 있습니다. 그렇다면 서버의 모든 PDF 만 다운로드하거나 모든 GIF를 다운로드하려는 경우 어떻게할까요? 다음 명령을 사용하십시오.
wget -r -A pdf
이 특별한 명령은 마크 주커 버그 (Mark Zuckerberg)가 하버드의 기숙사에서 사용하고 하나의 명령으로 모든 이미지를 다운로드하고 악명 높은 웹 사이트 "facesmash.com"을 제작했습니다.
wget -r -A jpg, jpeg, png, bmp
2. Wget을 사용하여 여러 URL에서 파일 다운로드
인터넷의 여러 위치에서 파일을 다운로드해야한다고 가정 해보십시오. url1 에는 PDF 파일, url2 에는 중요한 ZIP 파일, url3에는 다른 파일 이있을 수 있습니다. 전통적인 방식으로 Wget을 사용했다면 Wget을 세 번 실행해야합니다. 그러나이를 수행하는 훨씬 더 쉬운 방법이 있습니다.
- 먼저 데이터를 다운로드해야하는 모든 URL이 포함 된 파일을 만듭니다. 각 URL을 고유 한 줄로 유지 하십시오. 파일을 저장하고 이름을 기억하십시오.
- 터미널에서 다음 명령을 사용하여 모든 URL에서 파일을 다운로드하십시오.
wget -i
여기서 " file_name " 은 물건을 다운로드해야하는 모든 URL로 만든 파일의 이름입니다 .
3. Wget을 사용하여 전체 웹 사이트 다운로드
예, 당신은 그 권리를 읽었습니다. Wget을 사용하여 전체 웹 사이트의 컨텐츠를 다운로드 할 수도 있습니다. 분명히, 웹 사이트가 너무 크다면이 명령은 시스템에 많은 공간을 차지할뿐만 아니라 끝내기까지 많은 시간이 걸릴 것입니다. 즉, Wget을 사용하여 전체 웹 사이트를 다운로드하려면 다음 명령을 사용하십시오.
wget --mirror -p -P ./LOCAL-DIR WEBSITE-URL
그러면 전체 웹 사이트가 작업 디렉토리의 " LOCAL-DIR "폴더에 다운로드됩니다. 웹 사이트의 파일은 " WEBSITE-URL "덕분에 웹 사이트와 동일한 이름의 폴더에 저장됩니다.
4. Wget을 웹 스파이더로 사용하십시오.
Wget을 웹 크롤러 (또는 웹 스파이더)처럼 작동하게 만들 수도 있습니다. 이는 다운로드하려는 파일의 URL이 유효한지 확인 하려는 경우 유용 합니다 . Wget을 웹 스파이더로 사용하고 URL의 유효성을 검사하려면 다음 명령을 사용하십시오.
wget --spider
그러면 언급 한 URL이 존재하는지 확인하고 검사 결과를 알려주는 응답을 받게됩니다.
- 긍정적 인 반응:
- 부정적 반응 :
5. 불완전 다운로드 계속하기
이것은 Wget이 할 수있는 또 다른 멋진 일입니다. Wget을 사용하여 파일을 다운로드한다고 가정 해 봅시다. 그러나 어떤 이유로 노트북을 종료해야합니다. 다음 번에 동일한 파일을 다운로드하려고 할 때 Wget은 실제로 다운로드 를 계속할 수 있습니다. 마지막으로 파일을 다운로드 한 폴더와 같은 폴더에 있는지 확인한 후 다음 명령을 사용하면됩니다.
wget -c
Wget이 파일의 일부가 시스템에 이미 있음을 확인하면 자동으로 다운로드를 계속합니다.
참고 : 서버의 파일을 마지막으로 다운로드하려고 시도한 이후에 서버의 파일이 변경된 경우 읽을 수없는 파일이 손상 될 수 있으므로이 명령을 사용하면 안됩니다.
또한 서버가 계속 다운로드를 허용하지 않으면 Wget은 다운로드를 처음부터 거부합니다. 처음부터 다운로드를 시작하려면 먼저 부분적으로 다운로드 한 파일을 시스템에서 삭제해야합니다 .
이 인수를 사용하는 데는 몇 가지 조건이 있으며 Wget man 페이지에서 자세한 내용을 읽을 수 있습니다.
6. 다운로드 속도 제한
Wget을 사용하여 파일을 다운로드하고 그와 함께 인터넷을 탐색하는 경우 Wget이 모든 대역폭을 사용하지 않기를 원할 것입니다. 다행스럽게도 Wget에는 시스템에서 파일을 다운로드하는 데 사용할 수 있는 대역폭의 양 을 제한하는 데 사용할 수있는 인수가 포함되어 있습니다.
wget --limit-rate =
참고 : 속도는 비트가 아닌 바이트로 언급됩니다. 따라서 Wget -limit-rate = 20k를 사용하면 대역폭 사용량이 20KB가 아니라 20KB로 제한됩니다.
7. Wget을 사용하여 FTP 서버에서 파일 다운로드
FTP 서버에서 파일을 다운로드해야하는 경우 Wget을 사용하여 파일을 다운로드 할 수 있습니다. 다음 명령을 사용하여 FTP 서버에서 파일을 다운로드하기 만하면됩니다.
wget
- 로그인으로 FTP 서버에서 파일 다운로드
다운로드 파일을 허용하기 위해 FTP 서버에 로그인이 필요한 경우 Wget을 사용하여 자격 증명을 전달하기 만하면됩니다. 다음 명령을 사용하십시오 :
wget --ftp-username = USERNAME - ftp-password = PASSWORD
Wget을 사용하여 인터넷에서 파일 다운로드하기
Wget을 사용하면 인터넷 어디에서나 파일을 다운로드 할 수 있습니다. 그러나 Wget은 거의 항상 작동하지만 Wget에 대한 액세스를 차단하는 특정 서버가 있습니다.이 경우 Wget 명령에 대한 -user-agent를 변경할 수 있습니다. 그러나, 당신이하는 일을 절대적으로 알지 않는 한, 그것은 권장되는 행동 방침이 아닙니다. 대부분의 경우, Wget은 액세스 할 수있는 한 인터넷에서 파일을 다운로드하도록합니다.
그렇다면 Wget을 사용하여 인터넷에서 파일을 다운로드 한 적이 있습니까? Wget을 사용하여 HTTP, HTTPS 및 FTP 프로토콜을 통해 파일을 다운로드 한 경험에 대해 알려주십시오. 또한이 목록에 있어야한다고 생각되는 Wget의 다른 용도에 대해 알고 있다면 아래 의견란에 저희에게 알려주십시오.
