引用元: ・文系だがスクレイピングやクローリングを勉強したい
1: 仕様書無しさん 2020/04/16(木) 17:35:05.61
そういう学校ある？
2: 仕様書無しさん 2020/04/16(木) 17:35:23.84
ない
3: 仕様書無しさん 2020/04/16(木) 17:38:19.58
こちらへどうぞ
【相談】プログラマーになりたい人のためのスレ 2
http://medaka.5ch.net/test/read.cgi/prog/1576503666/
4: 仕様書無しさん 2020/04/16(木) 21:09:58.26
ないよ
むしろ自分でサイト作って動的なフロントシステム作れるレベルじゃないとスクレイピングは無理
SPAならそもそもページないし
むしろ自分でサイト作って動的なフロントシステム作れるレベルじゃないとスクレイピングは無理
SPAならそもそもページないし
6: 仕様書無しさん 2020/04/16(木) 21:52:33.04
>>4
自分でそれ系統のサイト運営してるが。
自分でそれ系統のサイト運営してるが。
7: 仕様書無しさん 2020/04/16(木) 22:24:02.68
>>6
どこまでコーディングできるの？
ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの？
どこまでコーディングできるの？
ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの？
13: 仕様書無しさん 2020/04/21(火) 14:59:49.75
>>7
＞ ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの？
＞ ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの？
Webプログラマの特徴なんだけど、
そういう幼稚なママゴトを
さもすごいことのように自慢するわけだ。
はっきり言うが、Web屋はプログラマじゃないから。
ただのコーダー
14: 仕様書無しさん 2020/04/22(水) 14:55:23.28
>>13
普通に要件定義や設計、バックエンド開発DB開発もすべてやるがな
フロントクソなゴミJavaパーより生産性は圧倒的に上
普通に要件定義や設計、バックエンド開発DB開発もすべてやるがな
フロントクソなゴミJavaパーより生産性は圧倒的に上
15: 仕様書無しさん 2020/04/23(木) 16:18:33.99
>>14
それはWeb屋じゃなくて普通に業務系じゃないの？
それはWeb屋じゃなくて普通に業務系じゃないの？
20: 仕様書無しさん 2020/04/23(木) 21:31:59.34
>>15
もはや業務系もWebに変わりないじゃん
ちなみに今開発中の業務アプリはスマホアプリやWebサイト、LPとかとも連動させる奴
営業、接客、広告、経理、人事労務とかもろもろ全てWebで管理する壮大なシステムを俺がほぼ一人で開発してる
といってもあと数人バックエンドしかできない連中もいるけど
もはや業務系もWebに変わりないじゃん
ちなみに今開発中の業務アプリはスマホアプリやWebサイト、LPとかとも連動させる奴
営業、接客、広告、経理、人事労務とかもろもろ全てWebで管理する壮大なシステムを俺がほぼ一人で開発してる
といってもあと数人バックエンドしかできない連中もいるけど
5: 仕様書無しさん 2020/04/16(木) 21:11:58.76
法律すれすれだしな
業務としてやると
業務としてやると
8: 仕様書無しさん 2020/04/16(木) 22:33:17.04
今ちょうどHTML5パーサー書いてるけど。
9: 仕様書無しさん 2020/04/17(金) 00:55:53.29
スクレイピング容赦せん!
10: 仕様書無しさん 2020/04/20(月) 14:58:58.04
スクレイピングもあまり定番の方法ないしな
そもそもどういう出力がしたいのかも異なる
テーブルとってくる程度ならエクセルで十分だし
ログイン込みでやるなら面倒だったりするし
ブラウザ制御でやるのかHTTPで会話するのか・・・
そもそもどういう出力がしたいのかも異なる
テーブルとってくる程度ならエクセルで十分だし
ログイン込みでやるなら面倒だったりするし
ブラウザ制御でやるのかHTTPで会話するのか・・・
11: 仕様書無しさん 2020/04/21(火) 03:04:06.80
低偏差値で学歴コンプの奴は
全盛期の自分はクラス(大体小学校w)で10%以上の成績だった→本気出せばMARCH余裕だった→環境良ければ早慶余裕、MARCH以下は雑魚みたいな理論で自分を慰めてる
全盛期の自分はクラス(大体小学校w)で10%以上の成績だった→本気出せばMARCH余裕だった→環境良ければ早慶余裕、MARCH以下は雑魚みたいな理論で自分を慰めてる
12: 仕様書無しさん 2020/04/21(火) 03:12:30.36
数ヶ月前に立教を蹴って専門に行ったというスレをスクレイピングで見つけた
進学校によくあるパターンで国立がダメなら専門にでも行ってやるという友人を思い出した
彼は今、派遣のオペレーターだ
俗に言う子供部屋おじさんで自称発達障害なのだが、医者では否定されたらしく、ただの低IQ無能だったらしい
彼は元々小学校の算数は公文で出来たのだが所詮はパターン学習に過ぎないため、論理的思考力に欠けていて中学3年くらいで落ちこぼれた
進学校によくあるパターンで国立がダメなら専門にでも行ってやるという友人を思い出した
彼は今、派遣のオペレーターだ
俗に言う子供部屋おじさんで自称発達障害なのだが、医者では否定されたらしく、ただの低IQ無能だったらしい
彼は元々小学校の算数は公文で出来たのだが所詮はパターン学習に過ぎないため、論理的思考力に欠けていて中学3年くらいで落ちこぼれた
この前自分のおごりで寿司食わせてやったよ
高校時代を思い出すと泣けてくる
自民党批判を盛んにしていたが笑って流した。
昔のよしみもあって、彼には幸せになって欲しいのだが、いつになったら実は自分に非があると理解するのだろうか
16: 仕様書無しさん 2020/04/23(木) 16:32:07.59
Webは場合によってすごく苦労するのよ
客が出来上がったものを見て
デザインから根本的にやり直せ！とか、
もう殺したくなる！
17: 仕様書無しさん 2020/04/23(木) 16:38:34.72
>>16
普通モック見せながら進めるからそこまで酷い事は起きた事ないけどな
コンセンサスとるのに苦労するのはあるよね
普通モック見せながら進めるからそこまで酷い事は起きた事ないけどな
コンセンサスとるのに苦労するのはあるよね
23: 仕様書無しさん 2020/04/27(月) 01:37:09.57
>>16
月額固定で金とれる体制までもっていければ気が楽になるぞ
見積もり無料の段階でやり直し連発はどこの段階で金とるか考えてだんだんハイテンションに
月額固定で金とれる体制までもっていければ気が楽になるぞ
見積もり無料の段階でやり直し連発はどこの段階で金とるか考えてだんだんハイテンションに
26: 仕様書無しさん 2020/05/03(日) 10:02:24.71
>>23
＞ どこの段階で金とるか考えてだんだんハイテンションに
＞ どこの段階で金とるか考えてだんだんハイテンションに
ああ、あれは麻薬だよね
だんだんと深みにはまってゆく
いくらプレゼン繰り返しても発注も金額も出てこないとき、
ウルトラハイになれる！
たらら～♪とか歌いだしてしまう
18: 仕様書無しさん 2020/04/23(木) 18:28:51.78
担当者間では問題なくても上長が却下してくることはあるんじゃない？
19: 仕様書無しさん 2020/04/23(木) 19:34:44.08
開発プロセスにもよるけどデザインに対する修正要望の締切決めて
それ以降は大きい修正受けないようにするでしょ
ちゃんと変更増分の費用くれるなら付き合うけどな
それ以降は大きい修正受けないようにするでしょ
ちゃんと変更増分の費用くれるなら付き合うけどな
21: 仕様書無しさん 2020/04/24(金) 07:29:57.65
https://teratail.com/questions/256001
SEやってるのにそんなことも考えられないのかってのと
完全フロントエンジニアになるなら収入落ちるのになんでやってのと
22: 仕様書無しさん 2020/04/24(金) 17:18:45.34
フロントエンドやるならデザインもやれよ
ていうかバックエンドなんかapi出して後は知らんぷりなんだからどんどんバックエンドは仕事減るから安月給でいいよ
ていうかバックエンドなんかapi出して後は知らんぷりなんだからどんどんバックエンドは仕事減るから安月給でいいよ
24: 仕様書無しさん 2020/04/27(月) 02:45:21.71
動的ページでスクリプトをこっちで展開してスクレイピングするとか
さらにレベルが高いぞ
さらにレベルが高いぞ
25: 仕様書無しさん 2020/04/27(月) 09:00:58.36
ブラウザの自動運転したほうが楽だよね
なんならマウスのマクロで遷移させて取得とか
なんならマウスのマクロで遷移させて取得とか
27: 仕様書無しさん 2020/05/03(日) 21:06:23.29
スクレイピングの外部サービスが存在しないのは訴訟リスクがあるからだろうな
需要があることは解ってるから、代わりにノンプロミングで出来て客の自己責任なRPAを売り込む
29: 仕様書無しさん 2020/05/03(日) 22:39:35.61
>>27
普通にたくさんいくらでもあるんだけど
普通にたくさんいくらでもあるんだけど
28: 仕様書無しさん 2020/05/03(日) 22:20:17.49
CAPTCHA対策知ってる？
30: 仕様書無しさん 2020/05/05(火) 06:06:03.67
わいもスクレイピング学びたい。
Amazonからセール品だけスクレイピングでまとめるサービスとか作りたい。（電子書籍の司書さんみたいな）
詳しい人いたら法律的にどうなのかとか、勉強手順とか教えてくれそ。
Amazonからセール品だけスクレイピングでまとめるサービスとか作りたい。（電子書籍の司書さんみたいな）
詳しい人いたら法律的にどうなのかとか、勉強手順とか教えてくれそ。
31: 仕様書無しさん 2020/05/05(火) 06:27:43.25
>>30
Amazonはスクレイピング禁止している
Amazonはスクレイピング禁止している
32: 仕様書無しさん 2020/05/05(火) 09:27:00.25
素人がスクレイピングしたいならUWSCの有料版じゃないかな
あと、Amazon等で色々したいならまずはAPIを先にやろう
楽天やヤフーもそうだけど大手モールはだいたいAPI用意してる
あと、Amazon等で色々したいならまずはAPIを先にやろう
楽天やヤフーもそうだけど大手モールはだいたいAPI用意してる
33: 仕様書無しさん 2020/05/05(火) 10:46:52.14
スクレイピング禁止します
検索用の有料APIあるから使ってね
検索用の有料APIあるから使ってね
つまり無料のスクレイピングはダメだと言うだけだろ
業者からしたら一円の金にもならんのにサーバー負荷だけ背負わされるわけだしな
34: 仕様書無しさん 2020/05/05(火) 11:12:44.09
amazonはスクレイピングしないとライバルに勝てないぞ
apiは情報が古かったりする
apiは情報が古かったりする
35: 仕様書無しさん 2020/05/05(火) 11:54:54.52
Amazonとかは規約で禁止してたでしょ
36: 仕様書無しさん 2020/05/05(火) 12:04:57.96
Amazonはアカウントと紐づけてスクレイピングしたらバンされるぞ
何年か前にそれが流行った
何年か前にそれが流行った
37: 仕様書無しさん 2020/05/05(火) 12:04:59.69
AmazonとかTwitterなんかの規約で禁止してるとこはスクレイピングしてるとアクセス元IP閉じちゃう
関係ない人らもアクセスできなくなる可能性高くて周りが迷惑する事になる（グローバルアクセスは固定IP契約してないと同一IPを皆で共用しているので）
関係ない人らもアクセスできなくなる可能性高くて周りが迷惑する事になる（グローバルアクセスは固定IP契約してないと同一IPを皆で共用しているので）
38: 仕様書無しさん 2020/05/05(火) 12:08:58.07
ライバル？
転売屋さん？
ネットヤクザの自覚ある？
社会のゴミ
転売屋さん？
ネットヤクザの自覚ある？
社会のゴミ
39: 仕様書無しさん 2020/05/05(火) 14:26:20.76
api提供されてんだから使えば良いだけ
情報古いとか言ってる人は英語読めないんだろ
英語のドキュメントは最新だからな
情報古いとか言ってる人は英語読めないんだろ
英語のドキュメントは最新だからな
