wget + cron : wwwダウンローダを自動運転
Submitted by sasaki on 水曜, 2006-03-29 21:22.
wwwダウンローダを自動運転
目的
1 Namazu(検索エンジン)で使用したいWebサイトをゲットする。 2 Webサイトをゲットする作業を自動化する。
1. Webサイトを保存するディレクトリを作成
まず最初にホームディレクトリに移動し、mkdirコマンドを使ってwebという名前のディレクトリを作成する。ま、wwwでもwebsでもなんでもよい。
$ cd ~/ $ mkdir web $ cd web |
2. 目的のWebサイトをゲットする
この簡単な1行でサイトを丸々ゲットできてしまう。相手先のことを考慮して作業しよう。 3番目の引数はゼロです。
| $ wget -r -l 0 http://www.avant-tokyo.com/ |
3. 定期実行させる内容をテキストに書き込む
4. 実行形式のファイルに変更する
新たに作ったautowget.shをchmodを使って実行形式にする。
$ chmod a+x autowget.sh -rwxr-xr-x 1 namae group 61 Jul 7 15:18 autowget.sh* |
5. いつ実行するかをテキストに書き込む
6. cronにお願いする
作業内容も書いたし、実行スケジュールもできた。後は仕事人であるcrontabにお願いするだけだ。 その前に現在crontabに何か書き込まれているか確認してみよう。
$ crontab -l no crontab for name |
何もないよと言っている。 では、早速お願いしてみよう。crontab.txtに書き込んだスケジュールを実行してくれと。
お願いを聞いてくれたか確認してみよう。
$ crontab -l # DO NOT EDIT THIS FILE - edit the master and reinstall. # (crontab.txt installed on Sat Jul 7 15:27:36 2001) # (Cron version -- $Id: crontab.c,v 2.13 1994/01/17 03:20:37 vixie Exp $) 15 4 * * * /home/name/web/autowget.sh |
一番最後に先ほど書いたスケジュールが表示されていればOK。スケジュールを変更したらもう一度cronにお願い作業を実行しよう。
|
|