Тёмный

【PythonによるWebスクレイピング入門】vol.02:Webページ内のテキストデータを自動で抽出(Selenium) 

いまにゅのプログラミング塾
Подписаться 158 тыс.
Просмотров 26 тыс.
50% 1

Опубликовано:

 

30 окт 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 44   
@nayamimondai70
@nayamimondai70 3 года назад
vol.01から一週間の”咀嚼”を終えて、漸く03に進みます。陳腐ですが本当にわかりやすい動画です。有難うございます。
@よしとも公認会計士
@よしとも公認会計士 3 года назад
udemyの講座もわかりやすかったです!
@imanyu_programming
@imanyu_programming 3 года назад
udemyもご覧いただきありがとうございます!!!!
@traintrainhashitteyuku
@traintrainhashitteyuku Год назад
こんな簡単にログインできてテキストを抽出できるのか…やってみよ
@mtpjjjpptyeg
@mtpjjjpptyeg 3 года назад
最高です
@imanyu_programming
@imanyu_programming 3 года назад
ありがとうございます😊!!
@yoshikikkawa
@yoshikikkawa 3 года назад
分かり易い。私はwindows 10環境ですのでprint codeで途中結果をチェックしております。
@imanyu_programming
@imanyu_programming 3 года назад
コメントありがとうございます!!! いいですね!!!
@貧乏鬼ート
@貧乏鬼ート 3 года назад
いつも勉強になります。 ログインすると、 Internal Server Error The server encountered an internal error and was unable to complete your request. Either the server is overloaded or there is an error in the application. というのが出てきて進められません.....。
@dshiny9753
@dshiny9753 4 года назад
いつもためにたる動画をありがとうございます。この動画シリーズ?のおかげて自分である程度スクレイピングのコードが書けるようになりました!感謝、感謝です。 しかし、最後辺りで「Pandas」の知識を要求されるとは思ってみませんでしたが(笑)。Pandasは敷居が高くて手か出せないんですよね。
@imanyu_programming
@imanyu_programming 4 года назад
コメントありがとうございます!! そのようにおっしゃっていただき非常にうれしいです! pandasも慣れればかなり使い勝手がいいですよ!!!是非是非たくさん使ってみてください笑
@佐藤迅-y4b
@佐藤迅-y4b 4 года назад
Pythonの動画いつも参考にさせていただいております。 自分もPythonを使ってスクレイピングの勉強をしているのですが、findで要素を指定するところで躓くことが多いです。 検証ツールから指定する要素を探すのですが、どのclassだったりidを指定すればよいのかわからず、エラーが出てしまいます。 やはりHTMLの勉強も必要になってくるのでしょうか?
@imanyu_programming
@imanyu_programming 4 года назад
コメントありがとうございます! おっしゃるとおり複雑な構造になればなるほど、HTMLの知識が必要になってきます! HTMLの知識と言っても、基礎的なものだけで問題ないと思いますが!
@荒井浩紀
@荒井浩紀 4 года назад
とても勉強になりました ありがとうございます 自分もセレニウムでスクレイピングに挑戦中なのですが、 チェックボックスをうまく選択できないときがあって悩んでいます 特にchromeドライバーから実際マウスでクリックしてみると 新たなテキストが出てきたりするときに多いです。  チェックボックスのある場所.click() でうまく選択できないときは 100%場所の指定が間違っているのでしょうか? それともclick()では選択できない特殊なチェックボックスというのも存在するですか? たとえばSelect(場所) でないとダメとか・・・。 (HTML等の知識はほとんどないのでとんちんかんな質問だったらすみません・・・) チェックボックスや、アラートや別のウィンドウが開いたりとかのスクレイピングに関する動画も期待してます (図々しくてすみませんw) チャンネル登録させていだきました。 大変でしょうが動画作成がんばってください
@imanyu_programming
@imanyu_programming 4 года назад
コメント、チャンネル登録ありがとうございます! 場所の指定がおそらく間違っているのかな?と思います!(おそらく指定するタグの間違い) 少し難易度が上がるとHTMLの知識が必要になるんですよね、、、 今後もスクレイピング動画は出していくので、是非お待ちいただければと思います!
@荒井浩紀
@荒井浩紀 4 года назад
@@imanyu_programming  様 さっそくの返答ありがとうございました。 チェックボックスを選択できない問題がついさっき解決しました! vol.01の動画見ていて、inputタグを探せばよいのかな?と ヒントを得ました。 ありがとうございました。 ちなみに、レアケースだと思うのですが click()ではダメでした。 ググって調べていたら、自分のつまずいていたのはどうやらラジオボタンでした。 ラジオボタンではたまにclick()で選択できないときがあるようです。 そのような場合は .send_keys(' ') で対処するとうまくいくようで 自分の場合も、実際にこれでうまくいきました。 何かの役に立てればと思いシェアさせていだきます。 次回のスクレイピング動画楽しみにしています!
@imanyu_programming
@imanyu_programming 4 года назад
@@荒井浩紀 おぉ!!無事解決されたようで良かったです!!素晴らしいです、、!! はい!是非楽しみにお待ちいただければと!!!
@KIYO-Youtube
@KIYO-Youtube 3 года назад
いつも参考になります。2点ほど質問がございます。 12:07 でelem_th = find_element_by_tag_name と記載しているのですが、下記でも同じなのでしょうか?基本的にseleniumのimportだけですべて操作可能でしょうか。 from selenium.webdriver.common.by import By elem_th = browser.find_elements_by_tag_name ('th') 2つめは要素をうまく抽出するためにCSSセレクタの勉強をしたいのですが、おすすめの本や動画はございますか?
@imanyu_programming
@imanyu_programming 3 года назад
すいません、どこが異なるのでしょうか?importしている部分と関連がなくよくわからないです、、、 elements or element の違いだけであればもちろん問題ないです。 >12:07 でelem_th = find_element_by_tag_name と記載しているのですが、下記でも同じなのでしょうか? 基本的にはseleniumのimportだけで大丈夫です >基本的にseleniumのimportだけですべて操作可能でしょうか これといった本、動画はないですが、Webで検索すると様々な記事が出てくるので、そちらで勉強していただければ理解できると思います! >2つめは要素をうまく抽出するためにCSSセレクタの勉強をしたいのですが、おすすめの本や動画はございますか?
@KIYO-Youtube
@KIYO-Youtube 3 года назад
@@imanyu_programming 回答ありがとうございました。1つ目に関しては、何か勘違いしてたみたいで申し訳ございません。 HTMLでの指定がキモだと思いますので勉強します😊
@ウカノミタマ-o1u
@ウカノミタマ-o1u 3 года назад
解説ありがとうございます。 Jupyterで「!brew install chromedriver」と入力し実行すると下記のメッセージが出ます。 /bin/bash: brew: command not found どうしたら良いでしょうか? MacでChromeを使っています。 Windowsと同じようにダウンロードした方が良いでしょうか?
@imanyu_programming
@imanyu_programming 3 года назад
homebrewがインストールされていないのではないでしょうか??
@ウカノミタマ-o1u
@ウカノミタマ-o1u 3 года назад
@@imanyu_programming ありがとうございます! できました。 でも皆さん、いつHomebrewをインストールされたんでしょう・・・初耳です。
@野正和馬
@野正和馬 4 года назад
いつもお世話になってます。 コードを動画を見ながら書いて csvファイルを開いたら中国語みたいな文になってるのですが直す方法ありますか?
@imanyu_programming
@imanyu_programming 4 года назад
コメントありがとうございます! おそらく文字化けですね! 下記サイトあたりを参考にしてみてください! megane-man666.hatenablog.com/entry/to_csv
@野正和馬
@野正和馬 4 года назад
ありがとうございます。治りました!
@imanyu_programming
@imanyu_programming 4 года назад
@@野正和馬 治ったようでよかったです!! 引き続き頑張ってください!
@野正和馬
@野正和馬 4 года назад
いつもいつもありがとうございます。 がんばります!ありがとうございます
@コカコーラ-e8t
@コカコーラ-e8t 3 года назад
第二回の方でもバックグラウンド実行させたくて、第一回のをコピペしたのですが、第二回の方ではウインドウが起動してしまいます。どうしてでしょうか??
@コカコーラ-e8t
@コカコーラ-e8t 3 года назад
解決しましたw
@imanyu_programming
@imanyu_programming 3 года назад
無事解決されたようで良かったです。。。笑
@コカコーラ-e8t
@コカコーラ-e8t 3 года назад
@@imanyu_programming インスタのスクレイピングしてみてほしいです!
@imanyu_programming
@imanyu_programming 3 года назад
したいのですが、結構グレーゾーンなので動画にできないんですよね、、、笑
@コカコーラ-e8t
@コカコーラ-e8t 3 года назад
@@imanyu_programming API使っていてもグレーゾーンなのですか!?
@ninja215daisuki
@ninja215daisuki 3 года назад
すみません Jupiter lab で英数字が打てなくて困っています。
@今西航平-k2v
@今西航平-k2v 3 года назад
jupyter labの問題ではなく、pc側の問題ではないでしょうか、、、
@ninja215daisuki
@ninja215daisuki 3 года назад
MACにおいて下の英数キーで英語打ちにはなりません、他のアプリでは英数文字になります
@imanyu_programming
@imanyu_programming 3 года назад
ブラウザはChromeを使用していますでしょうか?
@ninja215daisuki
@ninja215daisuki 3 года назад
@@imanyu_programming やっとジュピターの設定からできました。 グーぐっても良い答えがなかったので、、、、、
Далее