新機能 イベントメッセージの予約機能を追加しました。イベント主催者様は、参加者へのメッセージ送信を事前に予約できます。詳しくはこちらをご確認ください。

新機能 イベント詳細画面に「参加者への情報」欄を追加しました。イベント管理者、発表者、参加者(抽選中や補欠は除く)だけに表示されるフィールドです。詳しくはこちら

このエントリーをはてなブックマークに追加

Aug

21

【増枠】クローリングのスペシャリストが語る、クローラー運用の裏側!

経験豊富なエンジニアにクローラー、スクレイピング技術を使った自動データ収集の裏側を語ってもらいます!

Hashtag :#crawler_ops
Registration info

一般参加枠

1000(Pay at the door)

FCFS
37/40

発表枠

Free

FCFS
2/2

Description

概要

クローリングは膨大なインターネットの情報から必要な情報を自動収集する技術で、現在のインターネットには必要不可欠なものとなっています。

自動収集の仕組みを、いざ、本格的に開発/運用しようとなると、データ鮮度をいかに保つか、大量データをどのように保存するかといった様々な課題があります。また、実際に運用する前には予見できないことも多々あります。

そこで、日頃からクローリング、スクレーピングを利用したシステムの開発/運用に携わっている経験豊富なエンジニアの方々に、ノウハウ/Tipsを語っていただき、クローリング、スクレーピング関連の開発/運用というテーマでのノウハウ共有、情報交換を行いたいと思います。

対象

  • スクレイピング/クローリング技術に興味ある方
  • 既にクローラーを開発/運用されていて、改善を考えている方
  • 今後、本格的なデータ自動収集をお考えの方

日時

2016/8/21(日) 14:00 - 17:00

タイムスケジュール

時間 内容
13:30 - 受付開始
14:00 - 14:05 あいさつ
14:05 - 14:20 検索スピードアップ(仮)
フリーランス(parsetree) 朝倉 雅博
14:20 - 14:40 趣味から始めるスクレイピング
フリーランス treby
http://lineblog.me/treby/
14:40 - 15:00 スクレイピングの安定運用のために苦労したところ、工夫したところ(仮)
株式会社Be Agile 志田 裕樹
15:00 - 15:20 メンテナブルなクローリングフレームワーク(仮)
株式会社heathrow 芝原 悠介
15:20 - 15:40 ニュースパスのクローラーアーキテクチャ
株式会社Gunosy @mosa_siru
15:40 - 16:00 5億件以上の求人情報を蓄積する汎用クローラエンジンのアーキテクチャと運用
株式会社ゴーリスト 鈴木 隆宏 @_suzutt
http://goalist.co.jp/
16:00 - 17:00 懇親会 (軽食と飲み物を用意します)
  • 仮予定のため、発表時間の変更、発表順序の入れ替えの可能性があります

会場

mass * mass 関内フューチャーセンター

注意点

  • 登壇資料は公開しない可能性がありますのでご了承ください。

Feed

asakuri

asakuriさんが資料をアップしました。

03/10/2020 03:47

asakuri

asakuriさんが資料をアップしました。

03/10/2020 03:45

utwang

utwangさんが資料をアップしました。

08/28/2016 16:40

utwang

utwangさんが資料をアップしました。

08/22/2016 13:18

treby

trebyさんが資料をアップしました。

08/21/2016 23:50

asakuri

asakuriさんが資料をアップしました。

08/21/2016 23:25

mosa_siru

mosa_siruさんが資料をアップしました。

08/21/2016 23:17

mosa_siru

mosa_siruさんが資料をアップしました。

08/21/2016 23:16

utwang

utwang published 【増枠】クローリングのスペシャリストが語る、クローラー運用の裏側!.

07/28/2016 01:51

クローリングのスペシャリストが語る、クローラー運用の裏側! を公開しました!

Group

Bayside Tech Bridge

Number of events 40

Members 95

Ended

2016/08/21(Sun)

14:00
17:00

Registration Period
2016/07/27(Wed) 19:00 〜
2016/08/21(Sun) 16:00

Location

オンライン

オンライン

Attendees(39)

Royec0619

Royec0619

クローリングのスペシャリストが語る、クローラー運用の裏側! に参加を申し込みました!

pontaro

pontaro

クローリングのスペシャリストが語る、クローラー運用の裏側! に参加を申し込みました!

asakuri

asakuri

クローリングのスペシャリストが語る、クローラー運用の裏側!に参加を申し込みました!

(退会ユーザー)

(退会ユーザー)

クローリングのスペシャリストが語る、クローラー運用の裏側! に参加を申し込みました!

Jumpei Arashi

Jumpei Arashi

クローリングのスペシャリストが語る、クローラー運用の裏側! に参加を申し込みました!

dshibuya

dshibuya

クローリングのスペシャリストが語る、クローラー運用の裏側! に参加を申し込みました!

t2y

t2y

I joined クローリングのスペシャリストが語る、クローラー運用の裏側!!

ihara_shinsuke

ihara_shinsuke

もうしこんだ!

Isshi_974

Isshi_974

クローリングのスペシャリストが語る、クローラー運用の裏側!に参加を申し込みました!

KeitaOgura-Ecri0

KeitaOgura-Ecri0

I joined クローリングのスペシャリストが語る、クローラー運用の裏側!!

Attendees (39)

Canceled (31)