前々回の記事 および 前回の記事 で、Scrapy で Webスクレイピングしたデータを CSVファイルとして S3 に格納し、Amazon Athena のテーブルを作成して CSV のデータを流し込むところまでを実施しました。今回は、作成した Amazon Athena のテーブルをデータ…
前回の記事 で、Scrapy で Webスクレイピングしたデータを CSV形式で S3 に格納しました。今回は、S3 に格納した CSVファイルに対して、Amazon Athena を使ってデータ分析用のテーブルに取り込みたいと思います。 <過去記事> akiyoko.hatenablog.jp Amazon…
Python で Web クローリング・スクレイピングするためのツールといえば、 今や Scrapy が真っ先に候補に上がりますよね。 Pythonでクローリング・スクレイピングに使えるライブラリいろいろ - orangain flavor 「Pythonクローリング&スクレイピング」という…
AnsibleとVagrantで開発環境を構築する | さくらのナレッジ という記事を読んで、開発環境の Ubuntu サーバに MySQL や PostgreSQL をインストールするなら、Vagrant と Ansible を連携させた方がやりやすいな、と思ったのでメモがてらまとめておきたいと思…
【記事更新のお知らせ】 PyCharm のバージョンアップに合わせて、本記事を全面改訂しました。♂️(2020.5.8) akiyoko.hatenablog.jp 先日、「最強のPython開発環境 PyCharmのすゝめ - Qiita」という記事がホットエントリーに上がっていましたが、かくいう私…
タイトル ビットコインとか勉強会#5 - connpass (2017.2.28) cryptocurrency.connpass.com 主催 「暗号通貨読書会/勉強会」運営委員会 会場 株式会社オウケイウェイヴ 東京本社 東京都渋谷区恵比寿1-19-15(ウノサワ東急ビル5階) Twitter twitter.com 仮…
タイトル 【増席!】簡単、クレカ決済! PAY.JPを使ったクレカ決済の仕組み・開発運用時の考慮点について - connpass (2017.2.14) d-cube.connpass.com 主催 D-Cube 株式会社BizReach プロダクトチーム 会場 株式会社ビズリーチ 東京都渋谷区渋谷2-15-1 渋…
先日ついに、自宅の MacBook Pro の OS を Yosemite(!!)から一気に Sierra にアップデートしました。通常のアップデートだと動作が重くなるという記事 も見かけたので、今回はクリーンインストール(ハードディスクを初期化したまっさらな状態からのインス…
タイトル 【eLV勉強会】 Dockerを触ってみよう ~初心者向けDockerハンズオン~ - ~ITエンジニア勉強会~ engineer's Learning・Vesper | Doorkeeper (2017.1.18) learningvesper.doorkeeper.jp 主催 ITエンジニア勉強会 engineer'sLearning・Vesper 会場 CO-Cr…
タイトル ビットコインとか勉強会#4 - connpass (2017.1.10) cryptocurrency.connpass.com 主催 「暗号通貨読書会/勉強会」運営委員会 会場 株式会社ミクシィ 休憩スペース 東京都渋谷区東1-2-20(住友不動産渋谷ファーストタワー7F) Twitter twitter.co…
明けましておめでとうございます。今年も小網神社に初詣に行ってきました。というわけで新年明けまして少し経ちましたが、昨年(2016年)の akiyoko blog を振り返っておきたいと思います。 ちなみに 2015年の振り返りはこんな感じでした。<過去記事> akiy…
年末ということで今年の読書歴を振り返ってみたのですが、2016年は、雑誌やマンガ、技術系の本を除いて11冊の本を読んでいました。今年はなるべく、流行りの本よりも多くの人に読まれている古典系の本を読みたいと考えていたのですが、本を読むのが本当に遅…
この投稿は 「Django Advent Calendar 2016 - Qiita」 の 4日目の記事です。 今日は クリスマス Advent Calendar の最終日ですが、4日目の記事を書いています。 というのも、自分が担当した 12/5 の「ベスト・オブ・Django本! - akiyoko blog」の前日だけ何…
この投稿は 「Django Advent Calendar 2016 - Qiita」 の 22日目の記事です。 この記事では、「Django と PayPal REST API で In-Context Window による PayPal 決済フロー」を実装・検証します。はじめに謝罪しておきますが、「Django Advent Calendar」に…
この投稿は 「Python Advent Calendar 2016 - Qiita」 の 21日目の記事です。 このたび、「Python 3 エンジニア認定基礎試験」に合格することができましたー! パチパチパチ〜!! と、Python Advent Calendar で報告しようと思ったのですが、残念ながら12月…
タイトル PayPal API体験ハンズオンセミナー!世界のFintechを味見しませんか! - connpass (2016.11.29) algyan.connpass.com 主催 IoT ALGYAN(あるじゃん) IoTの基本要素を網羅する自学自習可能コンテンツ「IoT Kit Hands-on Training Site」 会場 Mic…
タイトル 【本日開催!!まだ残席あり!!】EducationTech Talks Tokyo #1 - connpass (2016.12.13) edtech.connpass.com 主催 TANREN株式会社 & NHNテコラス株式会社 会場 NHN テコラス株式会社 東京都新宿区新宿6-27-30 新宿イーストサイドスクエア EAST 13…
この投稿は 「jupyter notebook Advent Calendar 2016 - Qiita」 の 6日目の記事です。 今年の流行語大賞が 「JPAP(Jupyter / Python / Anaconda / Pyenv) に決まりましたね! あれ? 違うの!? といった冗談はさておき、ちょっとした統計解析をしようと…
この投稿は 「Django Advent Calendar 2016 - Qiita」 の 5日目の記事です。 「Django」を勉強するときに一番困るのは、やっぱり 「Django本がない」 問題ですよね? 実際、Django 初心者や初級者のエンジニアがいざ本格的に勉強しようと思っても、Django の…
この前 4.2.2 にアップデートした Mezzanine サイトに、Cartridge 0.12 を導入してみました。 Mezzanine は、Python製の WordPress風フルスタックCMSフレームワークですが、一方の Cartridge は、Mezzanine 専用に作られた、Mezzanine に ECサイト機能を搭載…
こんにちは、akiyoko です。 先月の IPA(情報処理推進機構)の秋試験で、「情報セキュリティマネジメント試験」に 一夜漬けで合格 することができました!! パチパチパチ! 先日合格発表があり、めでたく合格できたことを確認しました。 試験対策としては…
タイトル D3.jsで学ぶデータビジュアライゼーション - connpass (2016.11.14) data-visualization-japan.connpass.com 主催 Data Visualization Japan 会場 Twitter Japan 東京都中央区京橋3−1−1 東京スクエアガーデン19階 (参考)Twitter Japan に行って…
Monotalk さんの以下の記事に触発されて、私が本番運用している某ブログサイトの Mezzanine を 4.1.0 から 4.2.2 にアップデートしてみました。 mezzanine 4.1 から 4.2 にupdateした話 | Monotalk mezzanine 4.2.0 から 4.2.2 にupdateした話 | Monotalk ア…
こんにちは、akiyoko です。Mezzanine は、まだまだ日本での認知度はイマイチですが、知る人ぞ知る Python製の WordPress風フルスタックCMSフレームワークです。akiyoko.hatenablog.jp 今年の 7月に、Mezzanine を使った某ブログサイト(将来的に ECサイトを…
こんにちは、akiyoko です。Mezzanine は、知る人ぞ知る Python製の WordPress風フルスタックCMSフレームワークです。akiyoko.hatenablog.jp 今年の 7月に、Mezzanine を使った某ブログサイト(将来的に ECサイトを増設予定)の本番運用を開始しました。*1 …
こんにちは、akiyoko です。Mezzanine は Python製の WordPress風フルスタックCMSフレームワークです。akiyoko.hatenablog.jp 今年の 7月に、Mezzanine を使った某ブログサイト(将来的に ECサイトを増設予定)の本番運用を開始しました。*1 その備忘録とし…
こんにちは、akiyoko です。Mezzanine は Python製の WordPress風フルスタックCMSフレームワークですが、個人的にブログサイト(将来的には ECサイトを増設予定)を本番運用するために、昨年12月頃から調査をしてきました。akiyoko.hatenablog.jp それ以来い…
GitHub の Wiki に画像を貼り付けようとして画像をドラッグ&ドロップすると、 こうなって、画像を貼り付けできませんよね? 「じゃあ、どうやって GitHub Wiki に画像を貼り付けるの?」とググると、たいてい、 GitHub の Wiki をローカルに clone して、 …
タイトル通りなのですが、ドキュメントが古かったりとっ散らかっていたりするためか、数多くある PayPal の決済サービスのどれが使えてどれが使えないかが分かりにくかったので整理してみました。特に、日本では使えない決済サービスもあったりするので、そ…
これまでずっとサーバサイドをメインでやってきたとは言え、JavaScript に触れる機会も少なくなかったのですが、正直なところ何度やってもコツが掴めないというか、「JavaScript って独特な言語だなあ」というモヤモヤとした苦手意識がありました。 少し前に…