「データを集める技術」メモ

データを集める技術

主にスクレイピングやRSS・APIを活用したデータ取得の方法が、具体的に記載されており、大変参考になります。
ここではサンプルとしてAmazonのランキングや株価データなどを用いていますが、利用者のアイデア次第で応用が効き、ビジネスに役立てることができると感じました。


Excelの利用

VBAのライブラリ参照設定

  • Microsoft HTML Object Library
  • Microsoft Internet Controls

http://isbn.sbcr.jp/89029/
MSHTMLリファレンス

ChromeのXPath

id属性からの相対パス
なお、FireforxのXPathは、htmlからの絶対パス

Google Spread Sheetの利用

ImportXML関数でURLとXPathを指定してHTMLタグを取得

ImportFeed関数でRSSフィード取得
IMPORTFEED(URL,[クエリ],[見出し],[アイテム数])

IFTTTの利用

Googleアラート→RSS→IFTTT→Google Spread Sheet
という流れで最新情報取得
Google Spread SheetのParserモジュールも活用

Import.ioの活用

スクレイピングによるデータ収集。一部有料。

Amazon Machine Learning

二項分類
多項分類
回帰分析
が可能。
Quandlから学習データを取得してサンプル活用


コメント

コメントを投稿

このブログの人気の投稿

「人材育成ハンドブック」書評

イメージ
人材育成ハンドブック この本の副題は「いま知っておくべき100のテーマ」です。 数が多いと思いつつも、読み進めていくと「知っておくべき」内容と、「実践すべき」テーマが、読者それぞれに意識付けされるものと思われました。 つまり100全部を実行する必要はなく、このなかで自分の環境に合ったものを採用してくださいという筆者の意図が感じられました。 以下は私の視点でピックアップした項目です。 行動変容の5ステップ いきなり人は変わりません。生活習慣の改善を目的にした行動変容ステージモデルは、5つのステージに分けられます。 前熟考期 熟考期 準備期 実行期 維持期 課題の認識もないままに行動だけ促しても成果は出ないでしょう。会社からの期待を伝え、ギャップを感じてもらう前熟考期から始める必要があります。 コンピテンシー 日本でも2000年頃から人材戦略にコンピテンシーの考え方が採用されています。 目に見える「スキル」「知識」だけでなく、目に見えない「自己概念」「特性」「動機」にも着目する考え方です。 多くの企業では以下の項目をコンピテンシーとして採用しています。 リーダーシップ コミュニケーション 人材育成 チームワーク 創造 影響 決断 誠実 顧客志向 しかし、これらを全てカバーしている会社や経営者、マネジャーはどのくらいいるでしょうか？ 恐らく1つも達成していない人も多いと思われます。優れた経営者でもかろうじて半分程度でしょう。 理想と現実のギャップは、社員の満足度にも現れます。会社や経営者に理想であってほしいと思う願いが、返って現実では落胆を招き、転職を続けたり、会社に居続けて疲弊したりしています。 両者に課題ありです。会社や経営者もこれは無理とあきらめず、100%の理想を追い求めてほしいものです。会社員も理想ばかり望むのではなく、むしろ現実はこのコンピテンシーはほとんど達成していないことを認識し、一つでも経営者に追加してもらうには、「自分が」どう行動すればよいかを考えてもらいたいです。 熟達化 エキスパートへの道筋が熟達化です。4つの段階に分かれます。 手続き的熟達化 定型的熟達化 適応的熟達化 創造的熟達化 1番目は単に手続きだけ覚える期...
続きを読む

「0ベース思考－どんな難問もシンプルに解決できる」書評

0ベース思考－どんな難問もシンプルに解決できる どんな難問も？ この本では「どんな難問もシンプルに解決できる」と言い切っています。 本のインパクトを与えるためにはよいのかもしれませんが、本当に「どんな難問」も解決できるのでしょうか？ 囚人のジレンマに代表されるゲーム理論ひとつとっても、解決への道筋は示せていても、「解決できる」とまでは行き着いていません。 解決してきた事例が豊富 筆者はこれまで0ベース思考で解決してきた古今東西の事例を丁寧に紹介しています。 なぜ小林尊はホットドッグの早食いコンテンストで優勝することができたのかから、ヨーロッパの宗教改革が現在まで及ぼしている影響まで、まさに「0ベース」で根拠を客観的なデータに基づいて探っていったところに発見がありました。 それが本当に合っているかは分かりません。ただ少なくとも、直感と経験と声の大きさだけで判断が決まっていくようなものよりは、圧倒的に信憑性があります。 実践には時間も労力もかかる これまで誰も解決できてこなかった問題が、この本を読んだからといって明日解決できるわけではありません。 ただ、考え方のアプローチは明確に示しています。 0ベースであること この一点です。そのための根拠とデータと検証を、深く、常識にとらわれず、まわりの非難にも負けず続けていけること、そこに最終的な成功への道筋があると感じました。
続きを読む

「物語 フランス革命」書評

イメージ
物語 フランス革命 世界史を受講した人であれば必ず学ぶフランス革命。それを物語として記載したのが本書です。 受験のときは事件と年号を覚えるのみだったフランス革命を、本書では背景と人ひとりずつに着目し、なぜそのような事件がそのタイミングで起きたのかを紐解きます。 フランス革命の主な出来事を列挙します。 ルイ16世即位 三部会開催 バスチーユ陥落 ヴェルサイユ行進 ヴァレンヌ逃亡事件 対ヨーロッパ戦争 ルイ16世処刑 ジロンド派とジャコバン派の闘い 恐怖政治 テルミドールのクーデター ナポレオン登場 ブリュメールのクーデター 皇帝ナポレオン戴冠 これらのことが、1774年から1804年の30年間に凝縮されています。 もっと絞れば1789年のバスチーユ陥落から1799年にナポレオンが政権を掌握するまでの、たった10年間が本格的な革命の期間となります。 我々は200年後の世界に生きています。 1989年から1999年まではバブル絶頂から失われた10年であっという間でした。 フランス革命の激動を学ぶとき、変革の現代の緩やかさも感じるのです。
続きを読む