Aug
21
【増枠】クローリングのスペシャリストが語る、クローラー運用の裏側！
経験豊富なエンジニアにクローラー、スクレイピング技術を使った自動データ収集の裏側を語ってもらいます!
| Registration info |
一般参加枠 ￥1000（Pay at the door）
FCFS
発表枠 Free
FCFS
|
|---|
Description
概要
クローリングは膨大なインターネットの情報から必要な情報を自動収集する技術で、現在のインターネットには必要不可欠なものとなっています。
自動収集の仕組みを、いざ、本格的に開発/運用しようとなると、データ鮮度をいかに保つか、大量データをどのように保存するかといった様々な課題があります。また、実際に運用する前には予見できないことも多々あります。
そこで、日頃からクローリング、スクレーピングを利用したシステムの開発/運用に携わっている経験豊富なエンジニアの方々に、ノウハウ/Tipsを語っていただき、クローリング、スクレーピング関連の開発/運用というテーマでのノウハウ共有、情報交換を行いたいと思います。
対象
- スクレイピング/クローリング技術に興味ある方
- 既にクローラーを開発/運用されていて、改善を考えている方
- 今後、本格的なデータ自動収集をお考えの方
日時
2016/8/21(日) 14:00 - 17:00
タイムスケジュール
| 時間 | 内容 |
|---|---|
| 13:30 - | 受付開始 |
| 14:00 - 14:05 | あいさつ |
| 14:05 - 14:20 | 検索スピードアップ(仮) フリーランス(parsetree) 朝倉 雅博 |
| 14:20 - 14:40 | 趣味から始めるスクレイピング フリーランス treby http://lineblog.me/treby/ |
| 14:40 - 15:00 | スクレイピングの安定運用のために苦労したところ、工夫したところ(仮) 株式会社Be Agile 志田 裕樹 |
| 15:00 - 15:20 | メンテナブルなクローリングフレームワーク(仮) 株式会社heathrow 芝原 悠介 |
| 15:20 - 15:40 | ニュースパスのクローラーアーキテクチャ 株式会社Gunosy @mosa_siru |
| 15:40 - 16:00 | 5億件以上の求人情報を蓄積する汎用クローラエンジンのアーキテクチャと運用 株式会社ゴーリスト 鈴木 隆宏 @_suzutt http://goalist.co.jp/ |
| 16:00 - 17:00 | 懇親会 (軽食と飲み物を用意します) |
- 仮予定のため、発表時間の変更、発表順序の入れ替えの可能性があります
会場
mass * mass 関内フューチャーセンター
注意点
- 登壇資料は公開しない可能性がありますのでご了承ください。
Media View all Media
Feed
03/10/2020 03:47
03/10/2020 03:45
08/28/2016 16:40
08/22/2016 13:18
08/21/2016 23:50
08/21/2016 23:25
08/21/2016 23:17
08/21/2016 23:16
07/28/2016 01:51
クローリングのスペシャリストが語る、クローラー運用の裏側！ を公開しました！
utwang
MoriMori
taiaraky
tkyfkd
The IT meetup platform
connpass is made by BeProud Inc. in Tokyo Japan