読者です 読者をやめる 読者になる 読者になる

KZKY memo

自分用メモ.

TensorFlow: Save and Restore Graph/Variable

TensorflowのSaverでsave/restoreされるのは,MetaGarph/Variableなどの情報.graphだけを永続化したい場合は,tf.train.write_graph/tf.import_graph_defを使う.同じグラフを常に使う場合,単なるチェックポイントからの復帰は,これのみで可能. Save and…

TensorFlow: Sequence-to-Sequence Models

sequence 2 sequenceの学習の話.この記事を書いている時点で,TFのversionは,0.6.データのダウンロード cd tensorflow/models/rnn/translate python translate.py --data_dir [your_data_directory] で,English to Frenchのデータセットのダウンロードが…

TensorFlow: Python API: Transformation

記事を書いている時点では,v6.0なので注意 Casting tf.string_to_number tf.to_double tf.to_float tf.to_bfloat16 tf.to_int32 tf.to_int64 tf.cast 特に言及なし.sample codes Shapes and Shaping tf.shape tf.size tf.rank tf.reshape tf.squeeze tf.ex…

TensorFlow: Python API: Constants Sequences and Random Values

記事を書いている時点では,v6.0なので注意 Constant Value Tensors tf.zeros tf.zeros_like tf.ones tf.ones_like tf.fill tf.constant 特に注意点なしsample code Sequences tf.linspace tf.range 特に注意点なしsample code Random Tensors tf.random_nor…

TensorFlow: Python API: Math

基本element-wise.記事を書いている時点では,v6.0なので注意 Arithmetic Operators tf.add tf.sub tf.mul tf.div tf.truediv tf.floordiv tf.mod 特に注意点はなし.sample codes Basic Math Functions tf.add_n tf.abs tf.neg tf.sign tf.inv tf.square t…

TensorFlow: Control Dependency

Contol Dependencyをさわってみた結論からいうと,cpu上でやるif, thenみたいな細かいflow制御というより,あるTensorと別のあるTensorの値をelement-wiseで比較して,大きい方をとるみたいな感じで使う. サンプル #!/usr/bin/env python import numpy as n…

TensorFlow: tf.get_colleciton()とtf.add_to_collection()

なぞのメソッドtf.get_collection()とtf.get_to_collection()を調べた.API時には, tf.Graph.get_collection(name, scope=None)Returns a list of values in the collection with the given name. Args: key: The key for the collection. For example, the…

TensorFlow: Graphをもう少し理解

Graphをもう少し理解する. Default graph Create another graph in this thread (main thread) Graph in multi thread Write graph as protbuf to disk Read graph from disk and to Graph の5通りのサンプル.チェックポイントからの復帰はやってない.チェ…

TensorFlow: Recurrent Neural Networks

Introduction まず,LSTM articleを読んだほうがいい.わかりやすいので読んだほうがいい.rnn_cell.pyを見ると, BasicRNNCell: 普通のRNN BasicLSTMCell: peep-holeがないLSTM LSTMCell: peep-holeがあるLSTM. さらに,cell clippingとprojection layerがo…

TensorFlow: Vector Representations of Words

word2vec modelの例.word embeddingsていう単語のベクトル表現に使用するembedding matrixを学習で求めるモデル. Highlights WordをVectorとして表現したい動機 modelの直感的解釈とどうやって訓練するか TFでどうやってやるか Scaleさせるやり方 Motivati…

TensorFlow: Convolutional Neural Networks

Overview CIFAR10を使ってCNNおよびmulti-gpuでCNNをするサンプル. CIFAR10データセットは,32x32pixelのカラー 画像で,クラスは10クラスある.大体まとめると. #classes 10 #samples/class 6000 #train samples 50000 #test samples 10000 Goals DNNのア…

TensorFlow: Deep MNIST for Experts

ここではinteractive sessionでCNNを書くチュートリアル. Setup Load MNIST Data git clone https://github.com/tensorflow/tensorflow.git してきて,ここに移動. cd tensorflow/tensorflow/examples/tutorials/mnist こんな感じでmnistデータを読み込み …

Tensor Flow: How To

この記事を書いている時点では,0.6.0が最新なので,それを参考にまとめている. Variables: Creation, Initializing, Saving, and Restoring Variableはin-memory buffferだからtrainingが終わっったら,永続化させてevalutionとかしたい. The tf.Variable…

Tensor Flow: Whitepaper

TensorFlow Whitepaperを2015/11/17に読んだ時のまとめ Abstract いろんなデバイスで動く モバイイルから 大規模GPU Clusterまで Apache2.0 Licence 1 Introduction DistBeliefは第1世代 TensorFlowは第2世代 TensorFlowのアブストラクションはdeep learning…

TensorFlow: Getting Started

Basic Usage Install cuda 7.0 (gpu使いたい場合) $ wget "http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/cuda-repo-ubuntu1404_7.0-28_amd64.deb" $ sudo dpkg -i cuda-repo-ubuntu1404_7.0-28_amd64.deb $ sudo apt-get upd…

Hello TensorFlow

TensorFlow Googleが出したFlow Graph or Computational Graph 上で数値計算を行えるOSS. 本命どこがOSSでだしてきた.界隈ではゲームのルールが変わるかも. 何ができるか 一般的なDeep Learning Multi Layer Perceptron Convolutional Neural Networks Vec…