在上一篇文章中，我们介绍了针孔相机模型。相机镜头是一个凸透镜，而本文介绍的鱼眼相机镜头是由十几种不同的镜头组成的。在成像过程中，入射光发生不同程度的折射，投射到有限尺寸的成像平面上，使鱼眼透镜具有更大的视野。鱼眼相机的结构如下图所示：

与针孔相机原理不同，鱼眼镜头采用异种成像，在成像过程中引入畸变，通过压缩直径空间突破成像视角的限制，从而实现广角成像。

因此，鱼眼镜头是一种极端广角镜头，通常焦距小于等于16mm，视角接近或等于180(在工程上，超过140的视角统称为鱼眼镜头)。

鱼眼镜头无论如何都有弯曲的边缘，即使是90度的鱼眼镜头，这种扭曲就是我们在很多广角镜头中看到的，这是一个明显的枪管扭曲。同样的120度鱼眼看起来更弯曲，可以看到更多的物体；150度的鱼眼也是如此，而180度的鱼眼可以捕捉镜头180度范围内的所有东西。众所周知，焦距越短，视角越大，由于光学原理的作用，变形也就越强烈。鱼眼镜头必须允许这种扭曲(枪管扭曲)，以实现180度的视角。

在对原图像进行畸变校正后，存在冗余边界，需要进一步拦截。如下图所示：

常见的光学系统基于高斯光学，并遵循相似成像准则。而鱼眼镜头为了在有限的像面上投射尽可能大的场景，采用非相似成像，因此需要选择其他成像公式来代替高斯光学成像公式，而每一个成像公式对应一个镜头设计模型。常用的鱼眼镜头模型有四种，分别是等距投影、正交投影、等等角投影和立体投影。

F为鱼眼相机的焦距，即成像平面的半径；为入射光与鱼眼相机光轴的夹角，即入射角；Rd是鱼眼图像点到畸变中心的距离。Rd随着设计模型的变化而变化。四种模型投影距离的大小关系如下(反映了从空间P点投影到球体再到成像平面的成像过程):

成像点在等距投影中的位置rd与入射角成正比。该模型可以解决锁孔成像中入射角为90时图像无限拉伸的问题。在二维图像中，图像为随入射角变化的同心圆，最大视场角可达360。这个鱼眼模型是最简单的模型。

正交投影的成像结果不会产生透射映射的结果。在二维图像中，从0到90，等距视场角成像越来越密集。180度视场内的任何场景都可以投影。

恒立体角投影是鱼眼镜头中常用的投影模型。

立体投影是球面到平面的投影，在几何上又称共型映射，是一种保角映射。此时，相机的光心移动到南极位置，光轴朝向北极。立体投影可以将场景360度投影到图像上。

与针孔相机模型直接将三维点投影到归一化平面上相比，鱼眼相机模型多了一个中间过程：将三维点投影到单位球面上，再将单位球面上的点投影到归一化平面上。

对于三维世界中的一个点，其坐标向量在摄像机坐标系中为Xc=RX+T。其中，R和T分别为从世界坐标系到摄像机坐标系的旋转和平移矩阵。对于针孔投影到相平面上的坐标(，)，满足下式：

其中包括：

添加鱼眼相机失真：

满足变形后的坐标('，'):

最后，调整到像素坐标系(，):

式中=f/d，=f/d分别为两个方向的归一化焦距，d,d为像平面中像素点对应的长度。

本文由杨旭童鞋整理，谢谢!