interface、abstractなどの仕様確認(Java認定試験向け)

ITのお勉強 Java

interface、abstract、initializer、staticの仕様再確認のために、プログラムを書いて試しました。Java認定試験に向けた腕試しに役立つかもしれないので、載せておきます。パッと見て分かる人もいるのか疑問ですが... /* * interface、abstract、initializer…

2016-04-22

NodeJS+Seleniumを使ったスクレイピングの雛形公開

スクレイピング ITのお勉強

これまで書いてきた「NodeJS+Seleniumを使ったスクレイピング」の試行結果の成果として、スクレイピング用プログラムの雛形を作成しました。そのままでは使えませんが、プログラムを作成するうえでの参考としてご利用ください。https://github.com/Itsukara/…

2016-04-19

ブログのデザインを変更しました

ITのお勉強

ブログの中身には関係しないので、見る人にとってはどうでもいいことかもしれませんが、少し前に、ブログのデザインを変更しました。ヘッダ画像は、スイスのマッターホルンの写真です昨年(2015年)の9月に、夫婦でスイス旅行した際に撮影した写真です。撮影…

2016-04-19

NodeJS+Seleniumを使った画像ダウンロード(解決編)

スクレイピング ITのお勉強

前回記事「NodeJS+Seleniumを使った画像ダウンロードで困ったこと(2)」を書いた後で、実践 Selenium WebDriverにざっと目を通していたところ、新展開がありました。特に、ログイン後にアクセスできる画像を、nodeで直接ダウンロードできるようになりました(…

2016-04-18

HDDエラーで喪失したjavaソースコードをjd-gui活用で復活

改造 PC環境のトラブル対応

Javaソースへの逆変換のことを書いていたら、以前にHDDエラーで喪失したJavaのソースコードを、保管されていたjarから復活できることに気が付きましたので、この機会に復活しました。忘備録として復活方法を書いておきます。ここでの復活方法は、次のような…

2016-04-17

202HW(ポータブルTV)のフル画面化追補

改造

本ブログ内のアクセス状況を見たところ、全体のうち50%以上は、202HWの記事へのアクセスでした。興味のある方が多いようですので、少し補足情報を書きます。 itsukara.hateblo.jp上記で、改造のソースコードに触れましたが、TVフル画面化に関しては、173210…

2016-04-15

NodeJS+Seleniumを使った画像ダウンロードで困ったこと(2)

スクレイピング ITのお勉強

前回記事「NodeJS+Seleniumを使った画像ダウンロードで困ったこと - Itsukaraの日記」の補足＋追加です。 WebElementが無い場合があり、エラーとなる某サイトでは、同じような構成のページが複数あるのですが、ページによってはWebElement(例えば＜a href="…

2016-04-14

NodeJS+Seleniumを使った画像ダウンロードで困ったこと

ITのお勉強スクレイピング

某サイトのスクレイピングのためにNodeJS + Selelinum WebDriverでプログラムを作成したのですが、画像のダウンロードでかなり苦労したので、その顛末をメモしておきます。ブラウザでは画像のダウンロードは簡単にできるのに、こんなに苦労するとは思いませ…

2016-04-12

NodeJS + Selenium IDE/WebDriverで最強スクレイピング

ITのお勉強スクレイピングでんき家計簿シンギュラリティ Javascript

ここ数日、「DIGAの番組表」と「東京電力の『でんき家計簿』」でスクレイピング用のプログラムを作成してみましたが、NodeJS+CasperJS+PhantomJSよりも、NodeJS+Selenium IDE/WebDriverの方が、簡単でした。スクレイピングには、NodeJS+Selenium IDE/WebDriv…

2016-04-11

東京電力「でんき家計簿」の時間別グラフのデータ自動抽出

スマートメーター ITのお勉強スクレイピングでんき家計簿 Javascript

3月下旬に「東京電力「でんき家計簿」の時間別グラフのデータ抜出 - Itsukaraの日記」で、東京電力「でんき家計簿」の時間別グラフのデータ抽出ツールを紹介しましたが、今回、NodeJSとSelenium WebDriverを使って、抽出を自動化しました。GitHub - Itsukara…

2016-04-11

DIGA番組名一括変更ツールの一部をSelenium WebDriverを使って記述

DIGA番組名一括変更 ITのお勉強

CasperJSは、ブラウザの画面を直接見れず(キャプチャは可能)、NodeJSよりもデバッグが面倒と感じました。そこで、既存ブラウザを操作可能なツールを探したところ、ブラウザのテストツールとして広く普及している、Selenium WebDriverを利用するのが良さそう…

2016-04-10

DIGA番組名一括変更ツールの一部をCasperJSで記述

DIGA番組名一括変更 ITのお勉強スクレイピング

NodeJSやCasperJSの勉強の一環として、DIGAから番組情報を取得する部分を、CasperJSで記載してみました。ご参考まで。ファイル：diga-dump-casperjs.js リポジトリ：https://github.com/Itsukara/diga-rename なお、これまでは、chromeのDeveloper toolsの…

2016-04-10

初心者としてCasperJSで迷ったこと、困ったこと(2)

ITのお勉強スクレイピング

初心者としてCasperJSで迷ったこと、困ったこと - Itsukaraの日記の続きです。CasperJSのpage DOM環境からCasperJS環境に、任意のスクリプトを渡して実行する機能を試作しました。ご参考まで。(通常は(下図参照)、CasperJS環境からpage DOM環境にスクリプト…