【増枠】クローリングのスペシャリストが語る、クローラー運用の裏側！

機能改善【受付票発行機能仕様変更のお知らせ】「受付票発行機能」の仕様変更を行ない、受付票を常に発行することになりました。詳しくはこちらをご覧ください。

お知らせ【ATNDイベントデータ取り込み機能のお知らせ】 connpass に ATND で公開されているイベントデータの取り込み機能があることをご存知でしたか？是非 connpass に取り込んで、運営コミュニティの歴史を消さないようにしましょう！詳しい内容・取り込み手順はこちら

Aug

21
【増枠】クローリングのスペシャリストが語る、クローラー運用の裏側！
経験豊富なエンジニアにクローラー、スクレイピング技術を使った自動データ収集の裏側を語ってもらいます!

Hashtag ：#crawler_ops

Registration info	一般参加枠￥1000（Pay at the door） FCFS 37/40 発表枠 Free FCFS 2/2

クローリングは膨大なインターネットの情報から必要な情報を自動収集する技術で、現在のインターネットには必要不可欠なものとなっています。

自動収集の仕組みを、いざ、本格的に開発/運用しようとなると、データ鮮度をいかに保つか、大量データをどのように保存するかといった様々な課題があります。また、実際に運用する前には予見できないことも多々あります。

そこで、日頃からクローリング、スクレーピングを利用したシステムの開発/運用に携わっている経験豊富なエンジニアの方々に、ノウハウ/Tipsを語っていただき、クローリング、スクレーピング関連の開発/運用というテーマでのノウハウ共有、情報交換を行いたいと思います。

2016/8/21(日) 14:00 - 17:00

時間	内容
13:30 -	受付開始
14:00 - 14:05	あいさつ
14:05 - 14:20	検索スピードアップ(仮) フリーランス(parsetree) 朝倉雅博
14:20 - 14:40	趣味から始めるスクレイピングフリーランス treby http://lineblog.me/treby/
14:40 - 15:00	スクレイピングの安定運用のために苦労したところ、工夫したところ(仮) 株式会社Be Agile 志田裕樹
15:00 - 15:20	メンテナブルなクローリングフレームワーク(仮) 株式会社heathrow 芝原悠介
15:20 - 15:40	ニュースパスのクローラーアーキテクチャ株式会社Gunosy @mosa_siru
15:40 - 16:00	5億件以上の求人情報を蓄積する汎用クローラエンジンのアーキテクチャと運用株式会社ゴーリスト鈴木隆宏 @_suzutt http://goalist.co.jp/
16:00 - 17:00	懇親会 (軽食と飲み物を用意します)