mtt Blog

人生总有不期而遇的温暖和生生不息的希望

Linux简单命令

学习学习,我爱学习

less/wc/grep/cut/sort 最近心态不是一般的浮躁，心情很不好，感觉自己一事无成 学习，我的心中只有学习 不会linux效率低下系列 cd/mkdir/ls/rm/vi/mv/cp 是个人都知道系列 ls -a (列出包含隐藏文件) -R (递归列出) cat用于连接文件并打印到标准输出设备 -n 从1开始对输出编号 -b 对空白行不编号 less filename ...

Posted by mtt on January 17, 2019

CRF

Conditional Random Fields

Paper: Classical Probabilistic Models and Conditional Random Fields 先放出这篇论文的核心图： 熵 自信息量 一个事件本身所包含的消息量，由事件不确定性决定 随机事件 $x_i$ 发生概率为 $p(x_i)$ , 自信息量定义为 log以2为底,单位bit 信息熵 自信息量的期望，最短编码长度 条...

Posted by mtt on October 21, 2018

HMM

sequential data

PRML: Chapter 13 对于序列数据，数据的分布往往不是独立同分布的，而当前数据点往往和之前的数据点序列有关,对于这种数据的概率分布建模,有两种：stationary 和 nonstationary, 我们这里关注前者, 也就是序列数据和时间有关,生成分布和时间无关 M阶Markov链 ：条件概率分布只依赖与前M个变量 但是如果我们直接对 $p(x_n \mid x_{n...

Posted by mtt on October 16, 2018

Probabilistic Graphical Models

Bayesian/Markov Network

PRML: Chapter8 Probabilistic graphical model 概率图模型提供了一种概率模型直观的可视化方法,从中我们可以获取比如条件独立等信息,并且可以方便的表示出联合概率分布。可以划分为有向概率图(贝叶斯网络)和无向概率图(马尔可夫随机场)。 Bayesian Networks 也叫信念网络(belief network)/有向无环图模型,顶点对应随...

Posted by mtt on October 11, 2018

Machine Learning笔记(11)

Reinforcement learning

Markov decision processes(MDP) MDP(s, A, { $P_{sa}$}, $\gamma$, R) s是状态集合 A是动作集合 给定一个状态s和动作a, $P_{sa}$代表在s状态下采取a状态转移概率分布 $\gamma \in [0,1)$表示折现系数/折扣率 $R: S \times A \mapsto 实数集合$是回报函数(re...

Posted by mtt on October 8, 2018

Machine Learning笔记(10)

Factor Analysis Model

Principal Components Analysis 已有数据 $S = \{x^1, \ldots, x^m\}$, $x \in R^n$, 其中数据的某些维度可能强相关 预处理数据使得其各个维度的均值是0,方差为1 令 $\mu = \frac{1}{m}\sum_{i=1}^m x^i$ 把 $x^i$ 用 $x^i - \mu$代替 计算 $\sigma_j^2...

Posted by PCA and ICA on October 7, 2018

Machine Learning笔记(9)

Factor Analysis Model

Factor Analysis Model background $x \in \mathbb{R}^n$, $S = {x^1, \ldots, x^m}$,当 $n » m$时,用高斯分布很难拟合 $\Sigma$是奇异矩阵 不对 $\Sigma$做限制,并且希望协方差阵不是奇异的,需要 $m \ge n + 1$ 限制 $\Sigma$为对角矩阵,那么每一维是独立的, ...

Posted by mtt on October 5, 2018

Machine Learning笔记(8)

EM算法

Jensen’s inequality Theorem: 令f是凸函数, X是随机变量, 那么有 $E[f(X)] \ge f(EX)$, 并且如果f是严格凸函数, 那么 $E[f(X)] = f(EX) \Leftrightarrow X = EX \; w.p. \;1$(X是常数) EM algorithm 假设我们有数据集 $S = \{x^1, \ldots, x^m\}$, ...

Posted by mtt on October 3, 2018

Machine Learning笔记(7)

K-means 和 混合高斯模型

K-means算法 过程：略 收敛：定义代价函数 K-means可以看作对代价函数坐标下降,理论上可能在多个J相同的点上震荡,实践中很少发生,J是非凸函数,算法不能保证收敛到全局最优点 混合高斯模型 $p(x^i, z^i) = p(x^i \mid z^i)p(z^i)$ $z^i \sim Multinomial(\phi)$ where $\sum_{j=1}^k \phi_j ...

Posted by mtt on October 2, 2018

Machine Learning笔记(6)

Perception

Perception algorithm online Learning: 边预测边学习参数 感知机: 假设 $h:X\mapsto y \in \{-1,1\}$ 感知机学习算法: 证明？？

Posted by mtt on September 30, 2018

FEATURED TAGS
javaee 软工 ML
ABOUT ME

Never give up, never lose hope

✉️ 2282524112@qq.com

FRIENDS