お知らせ 【グループ管理者の皆さま】成長し続けるエンジニアを支援する「Forkwell」と「connpass」が連携し、connpass上でイベントを開催するグループを2020年3月末まで支援いたします。詳しくはこちら by Forkwell

このエントリーをはてなブックマークに追加

8月

21

【増枠】クローリングのスペシャリストが語る、クローラー運用の裏側!

経験豊富なエンジニアにクローラー、スクレイピング技術を使った自動データ収集の裏側を語ってもらいます!

Hashtag :#crawler_ops
Registration info

一般参加枠

1000(Pay at the door)

FCFS
37/40

発表枠

Free

FCFS
2/2

Description

概要

クローリングは膨大なインターネットの情報から必要な情報を自動収集する技術で、現在のインターネットには必要不可欠なものとなっています。

自動収集の仕組みを、いざ、本格的に開発/運用しようとなると、データ鮮度をいかに保つか、大量データをどのように保存するかといった様々な課題があります。また、実際に運用する前には予見できないことも多々あります。

そこで、日頃からクローリング、スクレーピングを利用したシステムの開発/運用に携わっている経験豊富なエンジニアの方々に、ノウハウ/Tipsを語っていただき、クローリング、スクレーピング関連の開発/運用というテーマでのノウハウ共有、情報交換を行いたいと思います。

対象

  • スクレイピング/クローリング技術に興味ある方
  • 既にクローラーを開発/運用されていて、改善を考えている方
  • 今後、本格的なデータ自動収集をお考えの方

日時

2016/8/21(日) 14:00 - 17:00

タイムスケジュール

時間 内容
13:30 - 受付開始
14:00 - 14:05 あいさつ
14:05 - 14:20 検索スピードアップ(仮)
フリーランス(parsetree) 朝倉 雅博
14:20 - 14:40 趣味から始めるスクレイピング
フリーランス treby
http://lineblog.me/treby/
14:40 - 15:00 スクレイピングの安定運用のために苦労したところ、工夫したところ(仮)
株式会社Be Agile 志田 裕樹
15:00 - 15:20 メンテナブルなクローリングフレームワーク(仮)
株式会社heathrow 芝原 悠介
15:20 - 15:40 ニュースパスのクローラーアーキテクチャ
株式会社Gunosy @mosa_siru
15:40 - 16:00 5億件以上の求人情報を蓄積する汎用クローラエンジンのアーキテクチャと運用
株式会社ゴーリスト 鈴木 隆宏 @_suzutt
http://goalist.co.jp/
16:00 - 17:00 懇親会 (軽食と飲み物を用意します)
  • 仮予定のため、発表時間の変更、発表順序の入れ替えの可能性があります

会場

mass * mass 関内フューチャーセンター

注意点

  • 登壇資料は公開しない可能性がありますのでご了承ください。

Feed

utwang

utwangさんが資料をアップしました。

08/28/2016 16:40

utwang

utwangさんが資料をアップしました。

08/22/2016 13:18

treby

trebyさんが資料をアップしました。

08/21/2016 23:50

asakuri

asakuriさんが資料をアップしました。

08/21/2016 23:25

mosa_siru

mosa_siruさんが資料をアップしました。

08/21/2016 23:17

mosa_siru

mosa_siruさんが資料をアップしました。

08/21/2016 23:16

utwang

utwang published 【増枠】クローリングのスペシャリストが語る、クローラー運用の裏側!.

07/28/2016 01:51

クローリングのスペシャリストが語る、クローラー運用の裏側! を公開しました!

Group

Bayside Tech Bridge

Number of events 37

Members 88

Ended

2016/08/21(Sun)

14:00
17:00

Registration Period
2016/07/27(Wed) 19:00 〜
2016/08/21(Sun) 16:00

Location

mass × mass

神奈川県横浜市中区北仲通3-33 (関内フューチャーセンター 神奈川県中小企業共済会館)

Attendees(39)

Royec0619

Royec0619

クローリングのスペシャリストが語る、クローラー運用の裏側! に参加を申し込みました!

pontaro

pontaro

クローリングのスペシャリストが語る、クローラー運用の裏側! に参加を申し込みました!

asakuri

asakuri

クローリングのスペシャリストが語る、クローラー運用の裏側!に参加を申し込みました!

(退会ユーザー)

(退会ユーザー)

クローリングのスペシャリストが語る、クローラー運用の裏側! に参加を申し込みました!

Jumpei Arashi

Jumpei Arashi

クローリングのスペシャリストが語る、クローラー運用の裏側! に参加を申し込みました!

dshibuya

dshibuya

クローリングのスペシャリストが語る、クローラー運用の裏側! に参加を申し込みました!

t2y

t2y

I joined クローリングのスペシャリストが語る、クローラー運用の裏側!!

ihara_shinsuke

ihara_shinsuke

もうしこんだ!

Isshi_974

Isshi_974

クローリングのスペシャリストが語る、クローラー運用の裏側!に参加を申し込みました!

KeitaOgura-Ecri0

KeitaOgura-Ecri0

I joined クローリングのスペシャリストが語る、クローラー運用の裏側!!

Attendees (39)

Canceled (31)