No video :(

【PythonによるWebスクレイピング入門】vol.02：Webページ内のテキストデータを自動で抽出（Selenium）

Подписаться 156 тыс.

Просмотров 26 тыс.

50% 1

PythonによるWebスクレイピング入門第二弾です！
前回の内容に続き、Webスクレイピングを一緒にマスターしていきましょう！
今回はWebページ内のテキストデータを自動で抽出する方法についてお伝えします！今回も簡単な内容であり、みなさんの業務を効率化するためのヒントが散りばめられています！是非お楽しみください！
◎講義で使用するページ
scraping-for-b...
■ 本講座のベースになっているUdemy講座
PythonによるWebスクレイピング〜入門編〜
www.udemy.com/...
■ PythonによるWebスクレイピング入門
Pythonを用いた業務効率化、自動化の中でも代表的なWebスクレイピングについてお伝えしていきます。ブラウザ操作の自動化からテキストや画像データの自動抽出等を行う方法についてわかりやすくお伝えします。
【PythonによるWebスクレイピング入門】vol.01：ログインなどのブラウザ操作を自動化しよう（Selenium）
• 【PythonによるWebスクレイピング...
■ 他シリーズ人気動画
習得したい言語第1位！！Pythonとは？ | 中学生でもわかるPython入門シリーズ
• 01. 習得したい言語第1位！！Python...
クラス | 中学生でもわかるPython入門シリーズ
• 15. クラス | 中学生でもわかるPyth...
PythonでぐるなびAPIを扱おう | Python活用シリーズ
• PythonでぐるなびAPIを扱おう | P...
■ Twitter
/ 03imanyu
■ Udemy
www.udemy.com/...
#Webスクレイピング #Python #Selenium

Опубликовано:

29 авг 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 44

@nayamimondai70 3 года назад

vol.01から一週間の”咀嚼”を終えて、漸く03に進みます。陳腐ですが本当にわかりやすい動画です。有難うございます。

@user-cg8zs1hb2x 3 года назад

udemyの講座もわかりやすかったです！

@imanyu_programming 3 года назад

udemyもご覧いただきありがとうございます！！！！

@user-je9kh9ct4b 2 года назад

最高です

@imanyu_programming 2 года назад

ありがとうございます😊！！

@yoshikikkawa 3 года назад

分かり易い。私はwindows 10環境ですのでprint codeで途中結果をチェックしております。

@imanyu_programming 3 года назад

コメントありがとうございます！！！いいですね！！！

@traintrainhashitteyuku Год назад

こんな簡単にログインできてテキストを抽出できるのか…やってみよ

@dshiny9753 3 года назад

いつもためにたる動画をありがとうございます。この動画シリーズ？のおかげて自分である程度スクレイピングのコードが書けるようになりました！感謝、感謝です。しかし、最後辺りで「Pandas」の知識を要求されるとは思ってみませんでしたが(笑)。Pandasは敷居が高くて手か出せないんですよね。

@imanyu_programming 3 года назад

コメントありがとうございます！！そのようにおっしゃっていただき非常にうれしいです！ pandasも慣れればかなり使い勝手がいいですよ！！！是非是非たくさん使ってみてください笑

@user-sf5po2zd6j 2 года назад

いつも勉強になります。ログインすると、 Internal Server Error The server encountered an internal error and was unable to complete your request. Either the server is overloaded or there is an error in the application. というのが出てきて進められません.....。

@user-zx3nf5dx8u 3 года назад

Pythonの動画いつも参考にさせていただいております。自分もPythonを使ってスクレイピングの勉強をしているのですが、findで要素を指定するところで躓くことが多いです。検証ツールから指定する要素を探すのですが、どのclassだったりidを指定すればよいのかわからず、エラーが出てしまいます。やはりHTMLの勉強も必要になってくるのでしょうか？

@imanyu_programming 3 года назад

コメントありがとうございます！おっしゃるとおり複雑な構造になればなるほど、HTMLの知識が必要になってきます！ HTMLの知識と言っても、基礎的なものだけで問題ないと思いますが！

@user-fn5vi5bh2o 3 года назад

とても勉強になりました　ありがとうございます自分もセレニウムでスクレイピングに挑戦中なのですが、チェックボックスをうまく選択できないときがあって悩んでいます特にchromeドライバーから実際マウスでクリックしてみると新たなテキストが出てきたりするときに多いです。　チェックボックスのある場所.click() でうまく選択できないときは　100％場所の指定が間違っているのでしょうか？それともclick()では選択できない特殊なチェックボックスというのも存在するですか？たとえばSelect(場所)　でないとダメとか・・・。（HTML等の知識はほとんどないのでとんちんかんな質問だったらすみません・・・）チェックボックスや、アラートや別のウィンドウが開いたりとかのスクレイピングに関する動画も期待してます（図々しくてすみませんｗ）チャンネル登録させていだきました。大変でしょうが動画作成がんばってください

@imanyu_programming 3 года назад

コメント、チャンネル登録ありがとうございます！場所の指定がおそらく間違っているのかな？と思います！（おそらく指定するタグの間違い）少し難易度が上がるとHTMLの知識が必要になるんですよね、、、今後もスクレイピング動画は出していくので、是非お待ちいただければと思います！

@user-fn5vi5bh2o 3 года назад

@@imanyu_programming 　様さっそくの返答ありがとうございました。チェックボックスを選択できない問題がついさっき解決しました！ vol.0１の動画見ていて、inputタグを探せばよいのかな？と　ヒントを得ました。ありがとうございました。ちなみに、レアケースだと思うのですが　click()ではダメでした。ググって調べていたら、自分のつまずいていたのはどうやらラジオボタンでした。ラジオボタンではたまにclick()で選択できないときがあるようです。そのような場合は　.send_keys(' ')　で対処するとうまくいくようで自分の場合も、実際にこれでうまくいきました。何かの役に立てればと思いシェアさせていだきます。次回のスクレイピング動画楽しみにしています！

@imanyu_programming 3 года назад

@@user-fn5vi5bh2o おぉ！！無事解決されたようで良かったです！！素晴らしいです、、！！はい！是非楽しみにお待ちいただければと！！！

@ninja215daisuki 3 года назад

MACにおいて下の英数キーで英語打ちにはなりません、他のアプリでは英数文字になります

@imanyu_programming 3 года назад

ブラウザはChromeを使用していますでしょうか？

@ninja215daisuki 3 года назад

@@imanyu_programming やっとジュピターの設定からできました。グーぐっても良い答えがなかったので、、、、、

@ninja215daisuki 3 года назад

すみません　Jupiter lab で英数字が打てなくて困っています。

@user-nm7pz5fk3y 3 года назад

jupyter labの問題ではなく、pc側の問題ではないでしょうか、、、

@user-bj7rg7dl4h 3 года назад

いつもお世話になってます。コードを動画を見ながら書いて csvファイルを開いたら中国語みたいな文になってるのですが直す方法ありますか？

@imanyu_programming 3 года назад

コメントありがとうございます！おそらく文字化けですね！下記サイトあたりを参考にしてみてください！ megane-man666.hatenablog.com/entry/to_csv

@user-bj7rg7dl4h 3 года назад

ありがとうございます。治りました！

@imanyu_programming 3 года назад

@@user-bj7rg7dl4h 治ったようでよかったです！！引き続き頑張ってください！

@user-bj7rg7dl4h 3 года назад

いつもいつもありがとうございます。がんばります！ありがとうございます

@KIYO-Youtube 3 года назад

いつも参考になります。２点ほど質問がございます。 12:07 でelem_th = find_element_by_tag_name と記載しているのですが、下記でも同じなのでしょうか？基本的にseleniumのimportだけですべて操作可能でしょうか。 from selenium.webdriver.common.by import By elem_th = browser.find_elements_by_tag_name ('th') ２つめは要素をうまく抽出するためにCSSセレクタの勉強をしたいのですが、おすすめの本や動画はございますか？

@imanyu_programming 3 года назад

すいません、どこが異なるのでしょうか？importしている部分と関連がなくよくわからないです、、、 elements or element の違いだけであればもちろん問題ないです。 >12:07 でelem_th = find_element_by_tag_name と記載しているのですが、下記でも同じなのでしょうか？基本的にはseleniumのimportだけで大丈夫です >基本的にseleniumのimportだけですべて操作可能でしょうかこれといった本、動画はないですが、Webで検索すると様々な記事が出てくるので、そちらで勉強していただければ理解できると思います！ >２つめは要素をうまく抽出するためにCSSセレクタの勉強をしたいのですが、おすすめの本や動画はございますか？

@KIYO-Youtube 3 года назад

@@imanyu_programming 回答ありがとうございました。1つ目に関しては、何か勘違いしてたみたいで申し訳ございません。 HTMLでの指定がキモだと思いますので勉強します😊

@user-od9cg2hj8o 3 года назад

解説ありがとうございます。 Jupyterで「!brew install chromedriver」と入力し実行すると下記のメッセージが出ます。 /bin/bash: brew: command not found どうしたら良いでしょうか？ MacでChromeを使っています。 Windowsと同じようにダウンロードした方が良いでしょうか？

@imanyu_programming 3 года назад

homebrewがインストールされていないのではないでしょうか？？

@user-od9cg2hj8o 3 года назад

@@imanyu_programming ありがとうございます！できました。でも皆さん、いつHomebrewをインストールされたんでしょう・・・初耳です。