随机数的产生

  1. 标准拉普拉斯分布具有概率密度函数 \[f(x) = \frac1{2} e^{-|x|}, \ x \in \mathbb{R}.\] 使用逆变换法生成一个大小为1000,服从拉普拉斯分布的随机样本,并画出样本的直方图并叠加理论概率密度函数曲线。

推导反函数:
分布函数为:\[ F(x)=\begin{cases}1-\frac{1}{2} e^{-x} & x>0 \\ \frac{1}{2} e^{x} & x \leq 0\end{cases} \]
反函数为:\[F_{X}^{-1}(u)=\begin{cases}log2u & 0<u\leq \frac 1 2 \\ -log(2-2u) & \frac 1 2<u<1\end{cases} \]

mylap<-function(n){
  u <- runif(n)
  x<-ifelse(u<=1/2,log(2*u),-log(2-2*u))    #用if语句不好判断一个向量
  return(x)
}
x<-mylap(1000)    #生成样本
hist(x, prob = TRUE, main = expression(f(x)==frac(1,2)*e^-abs(x)),ylim=c(0,0.5))   #样本直方图
f_lap<-function(x){
  1/2*exp(-abs(x))
}
lines(density(x),lwd=2,col="black")   #样本密度估计图
curve(f_lap(x), col = "red", add = TRUE, lwd = 2)  #理论密度估计图
legend("topright",col=c("black","red"),lty=c(1,1),lwd=c(2,2),legend=c("mylap","lap"))

  1. 写出一个使用接受拒绝法生成大小为 \(n\),服从Beta(a,b)分布的随机样本的函数,记为 my_rbeta。并利用该函数生成一个大小为1000,服从Beta(3,2)分布的随机样本,画出样本的直方图并叠加理论概率密度函数曲线。

Beta分布密度函数为\(\frac{1}{B(a, b)} x^{a-1}(1-x)^{b-1}\)。
\(a+b \neq 2\)时极值点为\(x=\frac{a-1}{a+b-2}\),极值点是极大还是极小与Beta分布两个参数有关,根据本题意思,考虑\(a>1,a+b>2\)的情况,即极值点为极大值点,仿照课件给出如下代码。(如果是极小值点,确实不会写接受拒绝法)。
当\(a+b = 2\)时,如果\(a=b=1\),实际上该分布即为均匀分布,直接用runif生成随机样本即可,若不满足该情况,分布函数是单调的,无法求极值点。

f_beta <- function(a,b,x){
  return(beta(a,b)^(-1)*x^(a-1)*(1-x)^(b-1))
}
my_rbeta <- function(a,b,n){    #n是样本数,a,b为参数,a>1,b>1
  k <- 0 # 用以记录接受的次数
  j <- 0 # 用以记录总共产生的随机数数量
  x <- numeric(n) 
  t_y <- f_beta(a,b,(a-1)/(a+b-2))   #f的极大值
  while(k < n){
    u <- runif(1)
    j <- j + 1
    y <- runif(1) 
    if(u < f_beta(a,b,y)/t_y){   # 接受
       k <- k + 1
       x[k] <- y
    }
  }
  return(x)
}
n <- 1000 # 需要的样本数
a <- 3;b <- 2
x <- my_rbeta(a,b,n)   #生成Beta(3,2)的随机样本
plot(density(x), main = bquote(f(x)==frac(1,B(3,2))*x^2 *(1-x)), ylim = c(0, 2.5),xlim=c(0,1))
curve(f_beta(a,b,x), col = "red", add = TRUE, lwd = 2)   #理论密度估计图
legend("topleft",col=c("black","red"),lty=c(1,1),lwd=c(2,2),legend=c("my_rbeta","f_beta"))

  1. 使用Choleski分解法生成200个服从三维多元正态分布的随机样本,其中均值为\((0,1,2)\),协方差矩阵为 \[\left(\begin{array}{ccc} 1.0 & -0.5 & 0.5\\ -0.5 & 1.0 & -0.5 \\ 0.5 & -0.5 & 1.0 \end{array}\right)\]
library(MASS)
#可设 set.seed(1) 使得数据具有可重复性
rmvn.Choleski <- function(n, mu, Sigma){
  # Generate n random vectors from MVN(mu, Sigma)
  # dimension is inferred from mu and Sigma
  d <- length(mu)
  Q <- chol(Sigma) # Q is a upper triangular matrix
  Z <- matrix(rnorm(n*d), nrow = n, ncol = d)
  X <- Z%*%t(Q) + matrix(mu, n, d, byrow = TRUE)
  return(X)
}
n <- 200
mu <- c(0,1,2)
Sigma<-matrix(c(1.0,-0.5,0.5,-0.5,1.0,-0.5,0.5,-0.5,1.0),nrow=3,ncol=3,byrow=TRUE)
X <- rmvn.Choleski(n,mu,Sigma)
X[1:5,]    #看下前五行数据是否正确
##            [,1]      [,2]     [,3]
## [1,] 1.48422289 1.0846453 2.665827
## [2,] 1.40915750 0.3787859 3.235836
## [3,] 2.23036678 1.9483269 3.189976
## [4,] 1.64521746 0.3603432 1.965182
## [5,] 0.07120291 0.8773117 1.828490
  1. 使用R中的pairs图对每一对变量画出一列散点图。
pairs(X)

最优化

设总体 \(X\) 服从对数分布,即 \(X\) 取值正整数集合 \(Z_+ = \{1,2,3,\dots\}\),且有概率函数 \[p(x;\theta) = \theta^x x^{-1} [-\log(1-\theta)]^{-1}, \quad x=1,2,\dots,\] 其中\(\theta\in (0,1)\)为未知参数。设 \(x_1,\dots, x_n\)为 \(X\) 的简单随机样本,令 \(\sum_{i=1}^n x_i = s\)。

  1. 令 \(f(\theta)\) 为负对数似然函数,写出\(f(\theta)\) 和 \(g(\theta) = f'(\theta)\)及 \(h(\theta) = f''(\theta)\)的表达式;

答:\(f(\theta)=-(slog\theta-\sum_{i=1}^n logx_i+nlog[-log(1-\theta)]^{-1})\),\(g(\theta) = f'(\theta)=-\frac{s}{\theta}-\frac{n}{log(1-\theta)(1-\theta)}\),\(h(\theta) = f''(\theta)=\frac{s}{\theta^2}-n\frac{1}{log(1-\theta)(1-\theta)^2}(1+\frac 1 {log(1-\theta)})\).

  1. 设 \(n=10, s= 15\) 和 \(\sum_{i=1}^n \log(x_i) = 3.466\), 编写程序,作 \(f(\theta)\) 和 \(g(\theta)\) 的图像;
n=10;s=15;lsm=3.466 # lsm是\sum_{i=1}^n \log(x_i)
f <- function(s,theta,lsm,n){
  return(-s*log(theta)+lsm+n*log(-log(1-theta)))
}
g <- function(s,theta,n){
  return(-s/theta-n/(log(1-theta)*(1-theta)))
}
h <- function(s,theta,n){
  return(s/(theta^2)-n*(log(1-theta)+1)/((log(1-theta))^2*(1-theta)^2))
}
curve(expr = f(s,x,lsm,n),from=0,to=1,type="l",xlab=expression(theta),ylab=expression(f(theta)))

curve(expr = g(s,x,n),from = 0,to = 1,type = "l",xlab = expression(theta),ylab = expression(g(theta)))

  1. 设 \(\theta=0.5\), 产生一组样本量为 \(n=100\) 的简单随机样本,注意这里用 set.seed(123)保证结果的可重复性;
#基本参照课件
theta=0.5;n=100
set.seed(123)
rlogarithmic <- function(n, theta){
  u <- runif(n)
  N <- ceiling(-16 / log10(theta))
  k <- 1:N
  a <- -1/log(1-theta)
  fk <- exp(log(a) + k * log(theta) - log(k))   #产生f(k)
  Fk <- cumsum(fk)   #分布函数F(k)
  x <- integer(n)
  for (i in 1:n){
    x[i] <- as.integer(sum(u[i] > Fk)) + 1   #产生n个样本数据
  }
  return(x)
}
x <- rlogarithmic(n, theta)
k <- sort(unique(x))
p <- -1 / log(1-theta) * theta^k / k
round(rbind(table(x)/n, p), 3)   #与实际分布进行对比
##       1    2    3     4     5     6
##   0.730 0.20 0.04 0.010 0.010 0.010
## p 0.721 0.18 0.06 0.023 0.009 0.004
  1. 编写程序,分别用二分法、牛顿法和Fisher得分法求 \(\theta\) 的极大似然估计;

(1)二分法: 二分法是求零点,而求 \(\theta\) 的极大似然估计即求\(g(\theta)\)的零点(g为负对数似然函数的导数,由第一题g的图像知道g是严格单调递增的,或可以通过h的图像判断,零点存在唯一)

g <- function(s,theta,n){
  return(-s/theta-n/(log(1-theta)*(1-theta)))
}   #重写g
bisection<-function(x){
  b0 <- 0.01;b1 <- 0.99  #theta的范围,根据g的表达式大概估计两端点,用uniroot函数计算之后再次微调
  n<-length(x);s<-sum(x)  #第三问的样本数据
  iter <- 0 # 算法的迭代次数
  eps <- .Machine$double.eps^0.25 # 收敛的容差
  y <- seq(b0, b1, length.out = 3) # 存储候选解
#算法起止判断
  gv <- c(g(s,y[1], n), g(s,y[2], n), g(s,y[3], n))
  if(gv[1]*gv[3]>0)
    stop("函数并未在给定的端点处有相反的符号。\n")
#迭代算法
  sol <- cbind(y, gv)
  while(iter < 1000 && abs(gv[2]) > eps){   #收敛判定
    iter <- iter + 1
    if(gv[1]*gv[2] < 0){ # 根在左边区间
      y[3] <- y[2]
      gv[3] <- gv[2]
    } else{ # 根在右边区间
      y[1] <- y[2]
      gv[1] <- gv[2]
    }
    y[2] <- (y[1]+y[3])/2    #更新中间端点
    gv[2] <- g(s,y[2],n)
    #print(c(y[1],y[3], gv[1], gv[3]-gv[2]))
    #sol <- rbind(sol, c(y[2], gv[2]))
  }
  theta_MLE_bisection <- y[2]    #根,也就是theta的极大似然估计
  return(list(theta_MLE_bisection=y[2],iter=iter))
}
list_bisection <- bisection(x)
cat("二分法计算极大似然为",list_bisection$theta_MLE_bisection,"\n")
## 二分法计算极大似然为 0.4721956

运用R函数uniroot

n<-length(x);s<-sum(x)
out <- uniroot(g, lower = 0.01, upper = 0.99, s = s, n = n)
unlist(out)
##         root       f.root         iter      init.it   estim.prec 
## 4.722013e-01 1.763700e-03 7.000000e+00           NA 6.103516e-05
cat("精确零点为",out$root,"\n")
## 精确零点为 0.4722013

(2)牛顿法 即求负对数似然函数最小值

f <- function(s,theta,lsm,n){
  return(-s*log(theta)+lsm+n*log(-log(1-theta)))
}
g <- function(s,theta,n){
  return(-s/theta-n/(log(1-theta)*(1-theta)))
}
h <- function(s,theta,n){
  return(s/(theta^2)-n*(log(1-theta)+1)/((log(1-theta))^2*(1-theta)^2))
}
Newton <- function(x){
  iter<-0;theta<-0.01  #初始化
  n <- length(x)
  s<-sum(x)     
  lsm <- sum(log(x))#样本数据
  eps <- .Machine$double.eps^0.25 # 收敛的容差
  while(abs(g(s,theta,n))>eps & iter < 1000){ 
    iter <- iter + 1
    h <- h(s,theta,n)    #牛顿法里h=eta^-1,h=f''(x_t),多元情形为Hessian阵
    theta <- theta - h^-1*g(s,theta,n)    #梯度为f'(x_t)
  }
  return(list(theta_MLE_Newton=theta,iter=iter))
}
list_Newton<-Newton(x)
cat("牛顿法计算极大似然为",list_Newton$theta_MLE_Newton,"\n")
## 牛顿法计算极大似然为 0.4721957

(3)Fisher得分法
要求出\(I(\theta)=-E\left\{\frac{\partial^{2} l(\theta)}{\partial \theta \partial \theta^{\top}}\right\}=E\left\{\left(\frac{\partial l(\theta)}{\partial \theta}\right)^{2}\right\}\)代替Hessian阵,即求\(I(\theta)=-E[h(\theta)]\),再用\(-I(\theta)\)代替Hessian阵。
\(E[h(\theta)]=E[\frac s {\theta^2}]-n\frac{1}{log(1-\theta)(1-\theta)^2}(1+\frac 1 {log(1-\theta)}),E[X_i]=\sum_{x=1}^{\infty} x \cdot \frac{\theta^{x} a}{x}=a \sum_{x=1}^{\infty} \theta^{x}=\frac{a \theta}{1-\theta},a=-\frac 1 {log(1-\theta)}.\)
由样本独立同分布,\(E[h(\theta)]=\frac{na \theta}{(1-\theta)\theta^2}-n\frac{1}{log(1-\theta)(1-\theta)^2}(1+\frac 1 {log(1-\theta)})=-n \frac{\theta+log (1-\theta)}{\theta(1-\theta)^{2} log ^{2}(1-\theta)}\),用\(-n \frac{\theta+log (1-\theta)}{\theta(1-\theta)^{2} log ^{2}(1-\theta)}\)代替Hessian阵。

Fisher<-function(x){
  n<-length(x);s<-sum(x)
  iter <- 0 # 初始化
  theta <- 0.01 # 初始化
  eps<-.Machine$double.eps^0.25
  g <- 1
  while(abs(g) > eps && iter < 1000){
    iter <- iter + 1
    h <- -n*(theta+log(1-theta))/(theta*(1-theta)^2*(log(1-theta))^2)    #h即为-I(theta),实际上h和上面Newton法的Hessian阵结果应该一样
    g<-g(s,theta,n)   #g为梯度
    theta <- theta - h^-1*g
  }
  return(list(theta_MLE_Fisher=theta,iter=iter))
}
list_Fisher<-Fisher(x)
cat("Fisher Score法计算极大似然为",list_Fisher$theta_MLE_Fisher,"\n")
## Fisher Score法计算极大似然为 0.4721957
  1. 基于题3中产生的数据比较题4中不同方法得到的估计量的精度(\(|\hat\theta-\theta|\))和收敛速度(迭代次数)。
theta<-0.5
d <- data.frame("二分法"=c(0,0),"牛顿"=c(0,0),"Fisher得分法"=c(0,0))
rownames(d)<-c("估计精度","收敛速度(迭代次数)")
d[1,]<-c(abs(bisection(x)$theta_MLE_bisection-theta),abs(Newton(x)$theta_MLE_Newton-theta),abs(Fisher(x)$theta_MLE_Fisher-theta))
d[2,]<-c(bisection(x)$iter,Newton(x)$iter,Fisher(x)$iter)
d
##                           二分法       牛顿 Fisher得分法
## 估计精度              0.02780437 0.02780434   0.02780434
## 收敛速度(迭代次数) 18.00000000 9.00000000   7.00000000

蒙特卡罗方法

设 \(X_1,\dots, X_n\) 是服从对数正态分布的随机样本,其概率密度函数为: \[f(x;\mu,\sigma) = \frac1{x\sigma\sqrt{2\pi}} e^{-\frac{(\ln x -\mu)^2}{2\sigma^2}}.\]

  1. 构造参数 \(\mu\) 的95%的置信区间; X服从对数正态分布,则有Y=lnX服从正态分布,因为Y的概率密度函数为\(f(y;\mu,\sigma) = \frac1{\sigma\sqrt{2\pi}} e^{-\frac{(y -\mu)^2}{2\sigma^2}}.\)由区间估计知识有此时(\(\sigma\)未知)可取枢轴变量\(T=\frac{\sqrt{n}(\bar{Y}-\mu)}{S},T \sim t_{n-1}\),\(P(|T| \leqslant c)=P\left(-c \leqslant \frac{\sqrt{n}(\bar{X}-\mu)}{S} \leqslant c\right)=1-\alpha\),从而有\(c=t_{n-1}(\alpha / 2)\),利用t分布求得双侧置信区间为\(\left[\overline{log X}-\frac{S}{\sqrt{n}} t_{n-1}(\alpha / 2), \overline{logX}+\frac{S}{\sqrt{n}} t_{n-1}(\alpha / 2)\right],\overline{logX}=\frac 1 n \sum_{i=1}^n \log(X_i),\alpha=0.05\)

  2. 请使用蒙特卡罗方法得到置信水平的经验估计。

n <- 20
alpha <- 0.05
m<-1000
UCL <- replicate(m, expr = {
  y <- rnorm(n ,0, 2)    #取均值为0
  x <- exp(y)
  sumlog <- mean(log(x))  #logx_i的均值
  S <- sd(y)   #y的标准差
  c(sumlog-S/sqrt(n)*qt(1-alpha/2,df=n-1),sumlog+S/sqrt(n)*qt(1-alpha/2,df=n-1))    #置信区间,qt是下分位数
})
# 计算经验置信水平
k<-0
for(i in 1:m){
  if(0<UCL[2,i]&&0>UCL[1,i]) k<-k+1   #需要mu落在置信区间内,也就是对第i次产生的样本,计算I(mu在置信区间内),置信区间和i有关,if的条件表示均值0在置信区间内
}
cat("经验置信水平为",k/m*100,"%\n")
## 经验置信水平为 95.8 %