"cannot create temp file for here-document: No space left on device"の本質的ではない対処方法
export TMPDIR=/path/to/tmp/directory/
で別途、一時ディレクトリを指定。
論文メモ_9
BatchBALD: Efficient and Diverse Batch Acquisition for Deep Bayesian Active Learning
やりたいこと：データサンプル(群)とモデルパラメタ間の相互情報量を基準に、データプールの中からinformativeなデータサンプルを複数個取り出す。BALD (Bayesian Active Learning by Disagreement) は単一サンプルの選択を考えていて、bached sampleの選択というシナリオ化で選択したサンプル間の関係を考慮できていなかったため、これを改良。
ASR is all you need: cross-modal distillation for lip reading
lip reading systemを教師なしで学習。そのためにASRを学習し、そのモデルからcross modalにdistillationを行う。
Towards Robust Neural Vocoding for Speech Generation: A Survey
ASRで用いられるSpecAugmentを参考にdata augmentationをしてvocoderを学習したが、この文献では効果が見られなかった。
A Comparative Study on End-to-end Speech to Text Translation
H. Neyグループの研究。音声翻訳。
Deep Contextualized Acoustic Representations For Semi-Supervised Speech Recognition
音声認識に有効な特徴量抽出器を教師なしで学習し、これをモデルの初期値として使用する。kフレーム先の入力 (fbank) を予測しL1 lossを最小化。k: 12~22。(inspired by ELMo) 評価はASRのみ。
FP16で行列計算
とある行列計算をFBGEMMおよびQNNPACKで行った [1,2]。
- qnnpack (変数名は、コードに準拠)
transposeの有無は指定できない。shapeはA_{mc, kc} x k_{nc, kc} + b_{nc} -> C_{mc, nc}のみを想定。vectorのtemplateの第2引数は、allocator。中国語!の解説記事[3]。
ptr = new std::vector<float, AlignedAllocator<float, 32> >(ncStride_ * kcStride_ + ncStride_);
pack_sgemm_w(nc, kc, nr, kr, linear_param_ptr, bias_param_ptr, ptr->data());
- fbgemm
C <- alpha AxB + beta Cを行う。いわゆるGEMM。
ptr = new fbgemm::PackedGemmMatrixFP16(fbgemm::matrix_op_t::Transpose /* or NoTranspose */, num_cols, num_rows, beta, linear_param_ptr);
でpackし、cblas_gemm_computeで行列計算。ただし、strideはない。kaldiの場合はstride sizeを要確認。
- その他：C++版LPCNetを読み、SIMDプログラミングのすごさを知った。使えそうな簡単な部分だけでもパパっと学習したい。
[1]
[2]
[3]
[4]
タイムアウトを設定し、関数を実行する (C++)
void f() {
auto self(enable_shared_from_this());
std::future<int> future = std::async(std::launch::async, [self]() { return g(); });
std::future_status status;
status = future.wait_for(std::chrono::milliseconds(1000));
if (status == std::future_status::timeout) {
//
} else if (status == std::future_statues::ready) {
//
}
}
「死」とは何か イェール大学で23年連続の人気講義
- 死は恐れるべきことなのか。自殺はいかなる時もあるべきではないのか。
- 何が満たされれば人格の同一性を主張できる？身体？脳？信念や欲望・記憶？
- 快楽主義：人生で経験するプラスとマイナスの経験を足し、それが0以上になるかどうか。注：ただし、経験には、間接的な価値と本質的な価値を伏せ持つ可能性がある。(コンロを触りやけどをする -> 痛いので本質的に悪いが、今後痛い思いをするのを防ぐので間接的にはいいはず)。 ⇔ 強化学習。人間が下す経験の評価は、絶対的にも相対的にもなりうる。。
- 東洋的思想と死について興味を持った。
