前からやってたかったのでGANをやってみた．GANGANの学習は非常難しいのが率直な感想．生成画像がかなりブラー．

データリードがボトルネックになる時があるので，IPC経由でデータを渡す場合とSharedMemory経由でデータを渡す場合で比較してみた．Shared Memory for Data Storage

Semi-Supervised LearningにおけるLadder Networkを実装した．Permuration-Invariant MNISTで，100ラベルで98%の正答率が出たので，大体再現出来たと言える．SSL Ladder Network References Rasmus, A., Valpola, H., Honkala, M., Berglund, M., & Raiko, T…

Cythonでgilを外せるので外したときにどれくらい高速化されるのかを見てみた．Cython with nogilThread + Cython (nogil)が一番良いと思う．

Cythonでできるのこと .pyxをcコードにする Cythonの変数にcの型をもたせられる C/C++ APIの利用 要するに，pythonぽく書けるので生産性が高くて，高速化も可能． Installation pip install cython Hello World こことここに書いてみた． コンパイル方法 2通…

わけあって，Chainerを触らなくてはならなくなった，再び触ってみた． Installation 環境 Chainer: 1.12 OS: Ubuntu15.04 CUDA: 7.5 Compiler: cpp-4.9, g++-4.9, gcc-4.9, cc-4.9 cudnn: v5 CUDA7.5の場合，gcc4.9を使わないとならないようなので注意． ま…

TensorflowのSaverでsave/restoreされるのは，MetaGarph/Variableなどの情報．graphだけを永続化したい場合は，tf.train.write_graph/tf.import_graph_defを使う．同じグラフを常に使う場合，単なるチェックポイントからの復帰は，これのみで可能． Save and…

今更ながら，Dockerを触ってみた． なぜDockerなのか 一言で言うと，CI/CD (継続的インテグ/継続的ディリバリ)が簡単になるため． Getting Started やっぱり本家のGetting Startedをやるのが，基本を理解するのに一番わかり易い． ここでやるのは，Machine, …

TF, CNTK, Theano, Caffe, Chainer等，巷にDNNライブラリはあふれている．DNNライブラリとはいかないまでも，自分でComputational Graphを実装してみたいと前から思っていたので，書いてみた．インターフェイスとしてすら，まだ全部出来ているわけではない．…

mコマンド(mcmd)というものが耳に入ったのでひと通り触ってみた． 数億件くらいのCSVデータを効率的に集計処理できる mコマンドとは join, uniq, sort, count, sum, aveなどの集計処理に使える in/outのフォーマットはCSV パイプが使えるので，他のunixコマ…

基本 Tutorialに書いてあることがすべて html <script type="text/javascript" src="//cdnjs.cloudflare.com/ajax/libs/dygraph/1.1.1/dygraph-combined.js"></script> js g2 = new Dygraph( document.getElementById("graphdiv2"), "temperatures.csv", // CSV 形式ならfileでなくてもOK {} // options ); csvの指定にfile:///が使えないことに注意 csvがhttpスキーマ…

sequence 2 sequenceの学習の話．この記事を書いている時点で，TFのversionは，0.6．データのダウンロード cd tensorflow/models/rnn/translate python translate.py --data_dir [your_data_directory] で，English to Frenchのデータセットのダウンロードが…

記事を書いている時点では，v6.0なので注意 Casting tf.string_to_number tf.to_double tf.to_float tf.to_bfloat16 tf.to_int32 tf.to_int64 tf.cast 特に言及なし．sample codes Shapes and Shaping tf.shape tf.size tf.rank tf.reshape tf.squeeze tf.ex…

記事を書いている時点では，v6.0なので注意 Constant Value Tensors tf.zeros tf.zeros_like tf.ones tf.ones_like tf.fill tf.constant 特に注意点なしsample code Sequences tf.linspace tf.range 特に注意点なしsample code Random Tensors tf.random_nor…

基本element-wise．記事を書いている時点では，v6.0なので注意 Arithmetic Operators tf.add tf.sub tf.mul tf.div tf.truediv tf.floordiv tf.mod 特に注意点はなし．sample codes Basic Math Functions tf.add_n tf.abs tf.neg tf.sign tf.inv tf.square t…

現時点でTheano(0.7.0)．いまさらながら，scan opをちゃんと見てみることにした．scan opのいいところは，variable length input/outputに対応できること，および，loopの中に，symbolに対してconditionを付けられること．基本的に，このページを順に見てい…

celeryでMultiprocessingをするときにどういう挙動をするのか気になったので，調査． 1. 普通にMultiprocessing 2. SQLAlchemyでsessionを作ってから，Multiprocessing を検証する．1のコードはここ 2のコードはここ 普通にMultiprocessing AssertionError: …

Contol Dependencyをさわってみた結論からいうと，cpu上でやるif, thenみたいな細かいflow制御というより，あるTensorと別のあるTensorの値をelement-wiseで比較して，大きい方をとるみたいな感じで使う． サンプル #!/usr/bin/env python import numpy as n…

なぞのメソッドtf.get_collection()とtf.get_to_collection()を調べた．API時には， tf.Graph.get_collection(name, scope=None)Returns a list of values in the collection with the given name. Args: key: The key for the collection. For example, the…

Graphをもう少し理解する． Default graph Create another graph in this thread (main thread) Graph in multi thread Write graph as protbuf to disk Read graph from disk and to Graph の5通りのサンプル．チェックポイントからの復帰はやってない.チェ…

Introduction まず，LSTM articleを読んだほうがいい．わかりやすいので読んだほうがいい．rnn_cell.pyを見ると， BasicRNNCell: 普通のRNN BasicLSTMCell: peep-holeがないLSTM LSTMCell: peep-holeがあるLSTM. さらに，cell clippingとprojection layerがo…