ITガジェット放浪記

amazon.co.jpのランキング情報と、kakaku.comのランキング情報を自動で取得するためのスクリプトについて、前回までにメモをしました。 amazon.co.jpのカテゴリランキング情報収集方法   kakaku.comのカテゴリランキング情報収集方法 それでは今回は、定期的に、自動的にランキング情報を取得できるようにしていきます。 定期的、自動ランキング情報取得の仕組みを構築 まずは、自動実行用のプラットフォームを準備 私、家ではQNAPのTS-251Dを使用しているのですが、こちらのNASにはVirtualization Stationという機能があり、NASの上で仮想マシンを動作させることができます。NASはどうせ一日中電源つけっぱなしなので、NASの上で自動実行用のプラットフォームを作っていきます。 ※Virtualization Stationはインストール済みなものとしております。まだインストールされてない方は、最初にVirtualization Stationをインストールしてください。 普通にTS-251Dを使用すると、メモリが最大でも4GBですので、仮想マシンを動作させる場合は、8GBに換装することをお勧めします。 UbuntuのISOイメージ入手 https://jp.ubuntu.com/download こちらのページからUbuntuのISOインストールイメージを入手します。 Ubuntuは、半年ごとに、21.04、21.10といった塩梅でバージョンアップリリースを行っていますが、ここでは最新のLTSである20.04をダウンロードします。 私は、Ubuntu Server 20.04をダウンロードしました。 ダウンロードが完了したら、isoファイルはNASの、フォルダに保存します。 私の場合は「VirtualMachines」フォルダ下に「ISO」というフォルダを掘ってそこに保存しています。 Ubuntuのインストール 次に、Ubuntuの仮想マシンを作成し、Ubuntuをインストールしていきます。 Virtualization Stationの画面から「作成」を選択 適当にVM名を決めてあげて、先ほど保存したファイルをCDイメージとして指定、「VirtualMachines」フォルダの下に、VM名と同じフォルダを掘って、HDDイ

 以前、amazon.co.jpのランキング情報取得方法について メモ を取っていましたが、今回はkakaku.comのランキング情報も同じように取得してみたいと思います。 kakaku.comでランキング情報を収集してみる さて、前置きは置いておいて早速やってみましょう。 今回は、kakaku.comの NASカテゴリランキングページ のランキング情報を取得してみます。こちらのページですね。 HTMLのソースコードを確認してみると、こんな感じです。 構造を見ていくと、 こちらのように、各順位ごとに<div class="rkgBox noGraph withReview">ないし、<div class="rkgBox noGraph">で構造が作られていることがわかるので、find_allでこの属性を取り出します。こいつを、1要素=eleとしてbeautifulsoupで取り出して、各々の中身をget_infoで解析してやるという流れになります。 各要素の中身は、 といった感じになっており、 <span class =" num "> にランキング、 <span class =" rkgBoxNameMaker "> にメーカー名、 <span class =" rkgBoxNameItem "> に製品名、 <span class =" price " > に最低価格が記載されていますので、get_infoの中で取り出してやります。 取り出したデータは、pandaでcsvファイルとして保存します。 コードはこんな感じ。 #!/usr/bin/python import urllib3 from bs4 import BeautifulSoup import time import datetime import pandas as pd uri_attention = 'https://kakaku.com/pc/nas/ranking_7731/hot/' uri_sales = 'https://kakaku.com/pc/nas/rank

Googleフォト有料化。今後どうなるの？ Googleフォトが有料化される。という話は小耳にはさんではいたのですが、ついに有料化されたようですね。 ちょっとここで、内容について整理してみたいと思います。今後はどうなるか？というと、 ・新しく高画質でバックアップされる写真と動画は、Googleアカウントのストレージ容量を使用するようになる。 ・無料で18GBが与えらえるものの、そのスペースを順番に使用するよ ということのようです。 これ、写真をアップロードする際の設定としては、元の画質・高画質といった選択肢しかないようなので、実質的には「無料でアップロードできる方法はなくなってしまった。」ということですね。 また、Google One(Google Drive)の現時点での使用量を確認してみると、 なんと、18GBのうち、7.4GB(ざっくり半分!)をすでに消費しているではないですか。今後写真のアップロードを続けるといつか容量の壁に当たってしまうのは確実。早めに退避先を考えたほうがよさそうです。 退避先の候補は？ 退避先の候補としては、どんなものがあるんでしょうか？ ・ほかの無料クラウドストレージ ・NAS というところが、あるようです。 クラウドストレージでは、TeraBoxというところが無料で1TB使えるようです。 とはいえ、直近でも、Duboxという名前からTeraBoxに変わっているようですし、この先もGoogle Driveのように、規約変更で無料分のサイズが縮小されてしまう可能性があります。また、大切なデータを、よく知らないストレージに預けて大丈夫なのか？というところも懸念点です。 こういった点から考えると、クラウドストレージという選択肢はなさそうです。 というわけで、NASにデータを持っていくということで考えてみたいと思います。 なお、今回まとめた内容は、同時に動画でもまとめてみました。「文字だけではわかりにくい！」というかた、こちらもご参照ください。 使っているQNAPのTS-251D、実はQuMagieという写真管理アプリに対応しています！ 元々QNAPのTS-251Dを使っているのですが、実はこのNASQuMagieという写真管理アプリに対応しています。なかなか今まで使う機会がなかったので、この機会に使ってみたいと思います。 まずは、QuMagi