2013年3月10日日曜日

クローラファームを作ってみたかった

なんだか久しぶりの更新な気がする


今回はなんだか最近クローラを書く事が増えてきました。
なぜなんでしょうね? まあ、TwitterAPIを常に監視したり、RSSリーダーで取って来たサイトの中にまで入ったり、アニメのデータベースが欲しいなーとか思ったり、様々な用途でクローラを書きます。

そこで最近懸念しているのがサーバでクローラを動かすときに書いたスクリプトをサーバで勝手にnohupでデーモンっぽく動かしてる。
ほとんど処理同じなのに毎回書いたりしてたのです。(正直打鍵スピードのおかげであんまり時間は気になってなかったんだけど)

そこでその懸念の解決の為にちょっと、頑張って見ました。


まず、毎回同じ事を書いている事に対する解決として、ベースのクラスを作ってしまえばいいじゃん。

ってことで、こんな感じのクラスを作りました

これで、こいつを継承して、scrapingとpre_scrapingをオーバーライドしてやればおk

こんかいは、HTMLのスクレイピングをする事を前提で作っちゃったのでBeautifulSoupを使ってスクレイピングしてますが。ゆくゆくはいろんなのを切り替えて使えるようにします。(必要になったら)

まぁ、使ってる例はいくつかgithubに上げてるきがします。

次に、なんか一つ一つのクローラがデーモンっぽく動いてて気持ち悪いという問題

それは、クローラをまとめて置くデーモンっぽいものを作ってそれを常に動かしておくというたちを作ってみました。

なんか、タスクキューとかも勉強してみたかったのでRabbitMQを使ってみました。

RabbitMQというのはタスクキューを作ってくれる奴ですね〜。公式のドキュメントがPythonを使ったサンプルが乗っていたのでこいつを選びました。

こいつを使って、任意の位置にクローラのスクリプトを配置して、適当なスクリプトからクロール命令するとQueueに溜め込まれてクロールをして行くという、システムを構成しました。


├── crawlers
│   ├── BaseCrawler.py
│   ├── BaseCrawler.pyc
│   ├── SampleCrawler.py
│   ├── SampleCrawler.pyc
│   ├── __init__.py
│   └── __init__.pyc
└── worker.py

このように/crawlers以下にクローラを配置して行き。

このような感じでスクリプトを指定して、クロールするurlを入力すれば解決です。

ここにリポジトリを上げているので、気になる人はご覧ください(最小構成ですのであしからず)

これから

まだ、エンジンの指定が出来なかったり、クローラの追加がscpだったりして、あれなので。
1. HTMLだけじゃなくJSON,feedなどもスクレイピングできるようにする
2. Jenkinsとかとうまく連携してgit pushでクローラを追加するような仕組みにする

というのが当面の目標ですかね。

1 件のコメント:

  1. Quite helpful! good job!Thanks for sharing the information.Keep updating good stuff...

    ibm websphere training

    返信削除