似然和极大似然估计

为了深入讨论似然的概念，我们需要先来了解概率和似然。
概率和似然都是统计学中的重要概念，他们之间有着紧密的联系。

概率和似然

概率是在特定环境下，某件事情发生的可能性。

在结果没有产生之前，我们可以根据环境中的参数，对某件事情发生的概率进行预测。

对于抛硬币事件，在抛硬币之前并不知道，抛硬币的结果是哪一面朝上。
但我们可以根据硬币的性质进行推测。
如果抛掷的硬币是一枚均匀的硬币，那么可以推断出，任何一面朝上的可能性都是50%。

我们要注意，这里的概率50%，只有在抛硬币之前是有意义的，因为抛完硬币后，结果就确定了。

抛硬币概率

似然和概率刚好相反，它是基于已经确定的结果来推测产生这个结果的可能环境，或者是推测环境中的某些参数。

在抛硬币的例子，假如随机抛出一枚硬币1万次，结果8000次人像在上，2000次数字在上。那么可以判断出，这枚硬币在构造时是有些特殊的。
我们基于抛掷结果，进一步推测该硬币的具体参数，人像的概率是0.8，数字的概率是0.2。

这个根据结果判断事情本身性质的过程，就是似然。
抛硬币似然

因此，总结来说，似然和概率可以看作是问题的两个不同方向。
概率是在已知模型参数的情况下预测结果，而似然是在已知结果的情况下推断模型参数。

θ: 环境中的参数
x: 事件发生的结果

概率: P(x|θ)，已知θ，计算x的发生概率
似然: L(θ|x)，已知x，推断参数θ

P(x|θ)是关于x的函数，L(θ|x)是关于θ的函数

利用已知的样本标记结果，反推最具有可能，或者最大概率导致这些样本结果出现的模型参数。

极大似然估计是一种已知观察数据来推断模型参数的过程。
例如，根据事件x的观察结果，推断θ是多少时，结果x最有可能发生，就是极大似然估计。

仍然使用抛硬币这个例子。
设它有θ的概率人像在上，那么就有1-θ的概率数字在上。
θ是客观存在的，但是我们最初并不知道θ具体是多少，需要根据观测结果进行推断。

为了获得θ，需要进行多次抛硬币实验，并记录抛出的结果序列。
假如在这个序列中，有7次是人像，3次是数字。
这样就得到了函数L(θ)等于θ的7次方乘1减θ的3次方。
抛硬币极大似然估计

函数L被称为θ的似然函数。
对于函数L(θ)，我们可以枚举θ的值，画出函数L的图像。
当θ等于0时，函数值是0，等于0.5时，函数是1024分之1等等。
这时我们会发现，函数在θ等于0.7时，取得最大值。
抛硬币极大似然估计

当我们使用极大似然估计来估计参数时，我们需要满足一些假设条件：

当使用极大似然估计来估计参数时，我们需要注意以下几点：

数据的合理性：在进行极大似然估计之前，需要确保观测数据是合理的，并符合所假设的概率分布。如果数据不符合假设的分布，那么使用极大似然估计可能会导致不准确的结果。
参数空间的限制：在估计参数时，需要确定参数空间的范围。参数空间的选择可能会影响估计结果。如果参数空间选择不当，可能会导致估计结果不准确或不可靠。
估计结果的可靠性：极大似然估计得到的参数估计值并不一定是准确的，它是在给定观测数据的情况下，最可能产生这个观测数据的参数值。因此，需要考虑估计结果的可靠性。可以通过计算置信区间或进行假设检验来评估参数估计的显著性。
模型选择：极大似然估计通常是在给定一个概率模型的情况下进行的。但是，在实际应用中，我们可能需要选择合适的概率模型。选择合适的模型对于得到准确的参数估计非常重要。
数据量的影响：极大似然估计的准确性通常随着数据量的增加而增加。更多的数据可以提供更多的信息，从而得到更准确的参数估计。