2021-04-01から1ヶ月間の記事一覧

【Node.js】Expressからcassandraにアクセスする

Node.jsとExpressでAPIを実装した際にcassandraに接続したので、やり方をメモ。 Markdown 記法に変えたので、若干書体が変わっています。 ⬇️ 分かりやすい良書です お金のこと何もわからないままフリーランスになっちゃいましたが税金で損しない方法を教えて…

【Python】DataStax Python Driverでcassandraにアクセスする

Pythonでcassandraの登録処理や取得処理を実装したのでメモ。 DataStaxのpython driverを使用しています。 テーブル設計なども行ったのですがパーテションキー=nodeという概念で、1pk=1nodeに多くても100レコード以内が望ましいそうです。 一意なID等なら問…

【Python】PyWebHdfsでHDFSを操作する

PythonでHDFSにファイルアップロードする処理を実装したのでメモ。 単純な処理ならcurlで十分なのですが、色々やりたい時は便利そうです。 事前にKerberos認証済みの想定です。 ⬇️ まだ読めてないです データウェブハウスツールキット―Web+データウェアハウ…

【Python】PyHiveでHiveQL

業務でPyHiveを使用したのでメモ。(忘れる自信しかない ) 環境によっては認証周りが変わりそうです。 ⬇️ クリーンアーキテクチャの事が分かりやすく書かれていて、お勧めです Clean Architecture 達人に学ぶソフトウェアの構造と設計 (アスキードワンゴ) …

【Python】boto3でS3のファイルをSSE-C暗号化

音声ファイルをS3に格納する際にSSE-C方式で暗号化したので備忘録。 botoの語源はアマゾンカワイルカだとか coin-look.pages.dev 公式 boto3.amazonaws.com 環境 Pythonのバージョンは3.7。 3.6は2021年末にサポートが切れるようです。 pip3 install boto3==…

【Python】mod_wsgi + Vue.js の連携

mod_wsgiでFlaskとVue.jsを連携させたので、備忘録として残しておきます。 あまり無いかもしれませんが、何かしらの理由でサーバーを1つに纏めたい場合に使えるかも 実際はkubernetes環境で実行するなどの事情もあり、分かりやすいように書き換えている為、…

【Java】OAuth 1.0 の認可処理について

JavaでOAuth 1.0を使用して認可処理を実装する機会があったのですがシグネチャの生成に少し手間取ったので、備忘録として残しておきます。 ユーザーからのリクエストがGadgetサーバーを経由してクライアントサーバーに転送され、更にAPIサーバーにリクエスト…