2015-01-01から1年間の記事一覧
word2vec modelの例．word embeddingsていう単語のベクトル表現に使用するembedding matrixを学習で求めるモデル． Highlights WordをVectorとして表現したい動機 modelの直感的解釈とどうやって訓練するか TFでどうやってやるか Scaleさせるやり方 Motivati…
Overview CIFAR10を使ってCNNおよびmulti-gpuでCNNをするサンプル． CIFAR10データセットは，32x32pixelのカラー 画像で，クラスは10クラスある．大体まとめると． #classes 10 #samples/class 6000 #train samples 50000 #test samples 10000 Goals DNNのア…
ここではinteractive sessionでCNNを書くチュートリアル． Setup Load MNIST Data git clone https://github.com/tensorflow/tensorflow.git してきて，ここに移動． cd tensorflow/tensorflow/examples/tutorials/mnist こんな感じでmnistデータを読み込み …
この記事を書いている時点では，0.6.0が最新なので，それを参考にまとめている． Variables: Creation, Initializing, Saving, and Restoring Variableはin-memory buffferだからtrainingが終わっったら，永続化させてevalutionとかしたい． The tf.Variable…
基本パターン req/res: server/client (server-client blocking, a client can connect to many servers) pub/sub: broadcast (non reliable publish) push/pull: loadbalancing は以前やった kzky.hatenablog.com ので，Intermediaries and Proxiesを学べば…
基本 メッセージパッシングフレームワーク or メッセージキューフレームワークの一種． これらはOSSでいっぱいあり，メッセージブローカーがあるbrokerd, メッセージブローカーがいないbrokerlessに大まかに分類される．ZeroMQはbrokerlessに分類される．ア…
基本 Cのsokcet programmingとほとんど同じ Server側 create socket bind socket to (host, port) socket listens with qsize socket accepts connection socket recv msg from a client socket send msg to a client Client側 create socket socket connect…
基本 何ができるか Manager は別のプロセス間で共有されるデータの作成方法を提供します。マネージャオブジェクトは 共有オブジェクト を管理するサーバプロセスを制御します。他のプロセスはプロキシ経由で共有オブジェクトへアクセスすることができます。 …
TensorFlow Whitepaperを2015/11/17に読んだ時のまとめ Abstract いろんなデバイスで動く モバイイルから 大規模GPU Clusterまで Apache2.0 Licence 1 Introduction DistBeliefは第1世代 TensorFlowは第2世代 TensorFlowのアブストラクションはdeep learning…
Basic Usage Install cuda 7.0 (gpu使いたい場合) $ wget "http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/cuda-repo-ubuntu1404_7.0-28_amd64.deb" $ sudo dpkg -i cuda-repo-ubuntu1404_7.0-28_amd64.deb $ sudo apt-get upd…
TensorFlow Googleが出したFlow Graph or Computational Graph 上で数値計算を行えるOSS. 本命どこがOSSでだしてきた．界隈ではゲームのルールが変わるかも． 何ができるか 一般的なDeep Learning Multi Layer Perceptron Convolutional Neural Networks Vec…
前提 pythonはGILの影響でmulti thread programmingでcpu-bound jobが早くならない． なので，multiprocessingを使うしかない．CPythonのmultiprocessingはforkなので，unixならcopy-on-write．なので，globで定義したデータなら，Read-onlyに限り，特段気に…
自分用のまとめなのでDNN知っていたり，Keras, Caffe, Torchとか他のDNN Libraryを知っている人は，公式Docmentを読んだほうがいい．Github Star数的にはCaffe > Keras >= Torch > Chainer (ただし，chainerを見ているのは日本人くらいだろうから，結構多い…
これを参考にすると大体分かる．Nginxをreverse proxyとして使う場合は， uwsgi --http-socket ...でなく uwsgi --socket をつかうこと．そうしないと， <html> <head><title>502 Bad Gateway</title></head> <body bgcolor="white"> <center><h1>502 Bad Gateway</h1></center> <hr><center>nginx/1.4.6 (Ubuntu)</center> </body> </html> が返ってきた．documentでは，--http-…
基本 flaskのみだと if request.method == "GET": ... な感じで，HTTP Methodと振る舞いを対応付けるが，これをやってくれるのが，Flask-RESTful. Resourceクラスを拡張したクラスとURL Routingを書いてそれらを紐付ける． Basic Sample Code from flask imp…
この記事はAkka2.3.9なので注意． Documentの通りにやる． A Simple Cluster Example Cluster extension を有効にするには次のapplication.confをclass path rootにおく． src/main/resources/においておけばいい applicatoin.conf akka { actor { provider …
初めに，これは忘れてはいけない Akka Cluster provides a fault-tolerant decentralized peer-to-peer based cluster membership service with no single point of failure or single point of bottleneck. It does this using gossip protocols and an aut…
akka generalのまとめ，重要だと思った箇所のみ抜粋している． Actor Sytem ActorSystem(Actorを作るobject)は，threadをたくさん使い，heavyweight stuructureなので，1つのロジカルアプリケーションに1つつくること． Hierachical Structure 親acotrが子ac…
すっごい久ぶりにBeamerで書いた昔の資料を引っ張り出してきたら動かなかったので，Beamerを使えるようになるまでの(復旧)メモ 環境 OS: Ubuntu14.04 Installation sudo apt-get install latex-beamer sudo apt-get install texlive-lang-cjk たぶん，これで…
基本 何をやるものか High Performance Non-Blocking Socket Server を作れる別の言葉で言うと NIO client server framework Performance ここによると javaだと一番早い. それより上位はC/C++のみ この条件 Dell R720xd dual-Xeon E5 v2 10 GbE 157 tests …
基本 ざっくりサーベイをした結果. デモ以上，社内利用以下，プロダクション未満なら knockoutjsで確実に十分だということがわかった. ただ，MSはプロダクションにも使用していると思うのでプロダクションでもいいかも多分tutorialを順にやっていくのが一番…
Flaskで少し大きめのWebアプリケーションを作るときは，Blueprintを使うのが普通．でも webpage = Blueprint('webpage', __name__, url_prefix='/web') ... @webpage.route("/<path:filename>") def top(filename): return app.send_static_file(filename) な感じ書くと500</path:filename>…
各種フォーマット pickle npy mat hdf5 におけるReadの比較を行ったのでそれをレポート 環境 OS Ubuntu14.04 CPU Intel(R) Core(TM) i5-2540M CPU @ 2.60GHz Disk Hitachi HTS54756 FS ext4 データ 元Data cifer10 (obtained from Kaggle so that it is jpeg…
前回zipfileのunzipをpythonのmultithreadingで行って全然早くなっていないことを確認したが， image 2 ndarray pickle 2 ndarray だとどうなるのが調べてみた． pickleはndarray.dumpしたもの． 実験設定と環境 OS Ubuntu14.04 CPU Intel(R) Core(TM) i5-25…
次の２つを含んだサンプル Flaskの中からCelery Taskを実行する Celery Taskの中からdbにアクセスする flask_celery.py from celery import Celery from flask import Flask, request, jsonify from flask.ext.login import LoginManager, UserMixin, login_…
Flask-Loginを使って Flask-MongoEngineで作成したUser Documentをuser classとして使用する Testや単なるAPIとして，APIを使用したいときに認証回避を可能にする これらをやってみる Sample Code #!/usr/bin/env python from flask import Flask, request, …
環境 Ubuntu 14.04 Installation nodejsが必要 buildする場合 git clone https://github.com/joyent/node.git install node cd ${pathto_node} ./configure make sudo make install pre-buildの場合 ここから持ってくる system wide cd /usr/local && tar --…
taskの中断 revokeを使う async_resultにアクセス可能なら，async_result.revoke() idのみわかっているなら，celery.task.control.revoke() worker.py from celery import Celery import time import celeryconfig #app = Celery("tasks", backend="rpc", br…
jsからだけではなく，pythonからsocketio serverにリクエストしたい．1. python-socketio-client 2. python-socketio-sever 3. jsという順にメッセージを送りたい 環境 ubuntu 14.04 python 2.7 server: flask-socketio client: python socketio-client Inst…
How-To Disk Formatの確認 qemu-img info disk.img Disk作成 qemu-img create -f qcow2 ${disk-name}.${qcow2} ${n}G Disk Copy cp –sparse=never olddisk.img newdisk.img Disk Convert qemu-img convert -O raw file.qcow2 file.img qemu-img convert -O q…
