2015-01-01から1年間の記事一覧
基本 Rからnumpyに入った人にとってDataFrameがないのは痛い． pythonのlibraryにpandasというのがあって，それでDataFrame-likeなオブジェクトを扱える． データ構造 -------------------------------------------------- Dimensions Name Description ----…
Supervisord ClouderaManagerのこれを使用してHadoop Serviceを起動している． subprocessesの管理もできるので分散システムに関しては向いている． 日本語の記事がかなりまとまっているので基本はそれを参考 調べるときは本家を見る Configはini形式 環境 U…
前提 OS: ubuntu14.04 インストール sudo apt-get install rabbitmq-server python-celery python-celery-doc 基本 celeryはmessage passing framework message brokerを必要とする Broker 選べる RabbitMQ Redis SQLAlchemy, Django Database (not recommen…
Pluginの列挙 DIY Flask-Login Flask-Auth FlaskSecurity DIY http://blog.miguelgrinberg.com/post/restful-authentication-with-flask Flask-Login https://blog.openshift.com/use-flask-login-to-add-user-authentication-to-your-python-application/ …
Installation pip install flask-socketio まずはこちらをやる 短いから WebSocket 基本 Communication protocol in HTML5 Permanent connection Bi-directional communication Either client or server can initiate communication Flask-Socketsとの違い F…
SQLAlchemyの基本 ORM: Object Relational Mapper DMP: Data Mapper Pattern; classes mapped to a database Quick Start https://pythonhosted.org/Flask-SQLAlchemy/quickstart.html で事たりる hello_sqlalchemy_mysql.py from flask import Flask from f…
Installation 環境 Ubuntu14.04 pip install $ pip install Flask $ python hello.py * Running on http://localhost:5000/ Getting Started Super Basics from flask import Flask app = Flask(__name__) @app.route("/") def hello(): return "Hello World…
numpyでfor-loopしながらpairwise distanceを計算すると非常に遅い． pairwise distanceはgram行列のカーネルにrbfを使った時に絶対に出てくるので，高速計算は必須要件． 比較 普通のfor-loop 行列計算ベースで一気に行う方法 numbaで比較する 環境 Ubuntu1…
こことここにinspireされてnumbaを試した． 結論から言うと超早い．ごりごりの数値計算をするなら絶対使うべき． Installation Ubuntu14.04でanacondaは使わない llvm3.5 / llvmlite sudo apt-get install -y llvm3.5* sudo apt-get install -y libedit-dev …
ここに載っている一般的なlogistic regressionを解くとき，GPU vs CPUで速度比較したのでその時のメモ. 実験環境 計算リソース GPU: GeForce GTX 780 CPU: Intel(R) Xeon(R) CPU X5680 @ 3.33GHz 実験1 設定 #dims = 784 (固定: same as in sample code) #sa…
全サンプルの内積計算をNumpy (CPU) vs Theano (GPU)で速度比較をした時のメモ．実際のサンプルを書く前に，普通に計算する場合を考える．普通にd-by-nの行列があったら，すべてのサンプルの内積計算の計算量は で，nに関してsquare-order.基本的にこういっ…
こんな感じのエラーがでたら /usr/bin/ld: cannot find -lf77blas. collect2: ld \xe3\x81\xaf\xe3\x82\xb9\xe3\x83\x86\xe3\x83\xbc\xe3\x82\xbf\xe3\x82\xb9 1 \xe3\x81\xa7\xe7\xb5\x82\xe4\xba\x86\xe3\x81\x97\xe3\x81\xbe\xe3\x81\x97\xe3\x81\x9f. ',…
タイトルの内容を質問されて，Spring/log4jを使ってしかやったことがないことに気付き調査した．ClassLoader.getSystemResourceAsStreamを使う． src/main/resources/subres/resource_file.prop key0=val0 key1=val1 key2=val2 ReadResourceMain.java packag…
REST API設計に関してまとめようと思ったけれど， 既に誰かがやっていたのでまとめofまとめになってしまうため，簡単なメモとして残す．素晴らしいまとめ. REST APIとは REST APIとはときかれれて，一文で答えるならば， 「EntityやResourceに対してCRUD操作…
GeForceが手に入ったので設定を行う． OSは，CentOS6.4のminimalをインストール画面でサーバー設定として入れてからupgradeしてCentOS6.6にした．取り敢えず，Docchap.2 pre-installation action chap.3 package manager installation chap.6 post-installat…
クラスの中で同じ名前のメソッドを使うが，振る舞いを切り替えたい場合がある． 例えば，文字列によって，同じメソッド名でも振る舞いを違くしたい． もっと具体的にいうと，update_alphaをいうメソッドを呼ぶが，変数ver: Stringに指定されているver, ver1:…
Theanoの基本的シンボル操作から，基本的な微分を経て，Logistic Regressionまでの道のり． 基本 installation ubuntu14.04の場合 $ sudo pip install theano version確認 $ python -c "import theano; print theano.__version__" 0.6.0 import 取りあえずim…
基本 Futureはakka pgkではなくてscala pkgのしたにある． concurrent操作結果を受け取るときに使用されるがblockingでも使える． Execution Contextが必要 Actor内ならimport context.dispatcherでExecutionContextを使うのも良い Timeoutも必要 Await.resu…
REPLなどで使う． import akka.actor.ActorDSL._ import akka.actor.ActorSystem implicit val system = ActorSystem("demo") val a = actor(new Act { become { case "hello" ⇒ sender() ! "hi" } }) become/unbecomeやlife-cycle manegementも可能らしい．…
基本 Synchronous/Asynchronousの2つがあると考えて良い． Synchronous Test メッセージの順序が決定的かつコンカレンシーを考えない場合のテスト基本は import akka.testkit.TestActorRef import scala.concurrent.duration._ import scala.concurrent.Awai…
基本 Finate State Machineとは 状態 イベント アクション のtripletで構成される．ある状態の時にあるイベントが起こるとあるアクションをとって別状態 に移動するというマシン．ただし，とり得る状態は有限． APIと設計 Event/State/Dataを定義する． Even…
基本 Router Actorは別のActorにラップして使用する． 理由は，Router ActorはRouter Actorをextendして使うわけではなく，実装も普通のActorとは違うため，別のActorにラップしてsupervised strategyを適用できるようにしたいから． Routerの基本的使い方 W…
1 acotr: 1mailboxだけれども，BalancingPoolのようにそうでない場合もある． message queueのタイプをアクターに要求 RequiresMessageQueueをタイプ付きでインプリ import akka.dispatch.RequiresMessageQueue import akka.dispatch.BoundedMessageQueueSem…
Actorを動かしているのがMessageDispatcher. すべてのMessageDispatcherのインプリがExecutorContext． actor systemの作成時にExecutorContextを渡すとそれがシステム全体のDispatcher 指定がなければ，defaultはfork-join-executor.Dispatcherは，mailbox,…
Fault Handling in Practice ここに書いてあるダイアグラムとコードを読むべき．Fault-Toleranceなsystemの設計指針がわかる． Creating a Supervisor Strategy こんな感じでStrategryを定義できる import akka.actor.OneForOneStrategy import akka.actor.S…
When to use Typed Actors Active Objectの実装. Active Objectはメソッド呼び出しとメソッド実行をそれぞれ別のスレッドにするデザインパターン．インターフェイスを持つクラスをTyped Actorを使うことで非同期にできる． こうするとActorの実装とOO-likeな…
Akka Scala DocのActorsを大体読んで噛み砕いたのでそのメモ． Actors 怒涛のAkka: Actors - KZKY memo 怒涛のAkka: Actors - KZKY memo Typed Actors 怒涛のAkka: Typed Actors - KZKY memo 怒涛のAkka: Typed Actors - KZKY memo Fault Tolerance 怒涛のAk…
Actor API extends Actorしたときに使える APIの説明 context.actorOfでchild actorつくる start/stopのhook etc. Actor Lifecycle 図を見る 登場人物 ActorPath ActorSelection pathの表現 actor refの名前解決 ActorRef incarnationの表現 pathを持つ uid…
ScalaのWeb Application Fraworkに関して調べ，Scalatraは比較的簡単に書けそうだったので，Scalatraを使って書くWeb Applicationの例をまとめる． 環境 Eclipse Juno Scala IDE 4.0 Scala 2.11 Gradle Build インストール (giter8経由) Javaは入っている前…
基本 特徴 完全非同期のノンブロッキング Actor/Futureベース ハイパフォーマンス ライトウェイト モジュール テスト可能 モジュール sprayはフレームワークという扱いにはしたくないようで， sprayはライブラリのスイートと言っている． spray-xxxのように…
