Daisuke Okanoharaさん(@hillbig)のカレンダー・ブログ形式Twitter | meyou [ミーユー]

 
  • Daisuke Okanohara @hillbig
  • Co-founder and COO/representative director of Preferred Networks (PFN). Interested in deep learning and AI, robotics, biology, science, and business.

  • 日本 東京   https://preferred.jp/en/
  • Twitter歴: 4635日 (2008/01/21より)    一日の平均ツイート数 3.2つぶやき
Daisuke Okanoharaのカレンダー形式ツイート履歴
  • 06/09(火)
  • 2 tweets
  • 08時
  • 2 tweets
  1. hillbig

    6月9日

    The simulation-based inference is hard because the likelihood is intractable. This situation has dramatically changed by neural network surrogate, deep integration of automatic differentiation, and probabilistic programming into the simulation. pnas.org/content/early/…
         

  2. hillbig

    6月9日

    多くの科学領域でシミュレーションが作られてきたが、尤度が計算できず、観測からの推論が困難で非効率なABCしか使えなかった。近年のML/DLの発展で高次元でも尤度や事後確率分布の代理関数を推定でき、微分可能なシミュレータを使って高度な推論ができるようになったpnas.org/content/early/…
         

  • 06/08(月)
  • 2 tweets
  • 08時
  • 2 tweets
  1. hillbig

    6月8日

    The predictions made for multiple tasks (e.g., depth, normal) from the same image should be consistent. Training with the cross-task consistency (requires datasets of pairs among domains) leads to better accuracy and generalization to OOD inputs. consistency.epfl.ch
         

  2. hillbig

    6月8日

    一つの入力(例:画像)から複数の予測(例:深度、法線)をした場合、これらの予測間には一貫性があるはずである。予測した結果を別ドメインに変換した結果と、正解を別ドメインに変換した結果の差である知覚損失を使って学習する。精度、未知分布への汎化性能が向上 consistency.epfl.ch
         

  • 06/05(金)
  • 2 tweets
  • 09時
  • 2 tweets
  1. hillbig

    6月5日

    We can train energy-based models without MCMC sampling by minimizing Stein Discrepancy (SD) which requires the gradient of the unnormalized model's log-density only. The critic function in SD is modeled by NN. arxiv.org/abs/2002.05616
         

  2. hillbig

    6月5日

    エネルギーベースモデルの学習に、スタインの恒等式を用いると、MCMCサンプリングを使わずとも非正規化対数尤度の勾配(正規化項はキャンセルされる)を使って学習できる。恒等式に登場するcritic関数はNNでモデル化、criticのJacobianのTraceはHutchinson推定する。arxiv.org/abs/2002.05616
         

ツイート成分
時間帯別ツイート
TOP