[AI知识-2]AI相关基础技术

命令词、语音唤醒、语法识别

云端

本地

简单指令控制的智能家居，电视盒子等

流式上传-同步获取

已录制音频文件上传-异步获取

已录制音频文件上传-同步获取

云端

本地

解决方案

图像大小

图像分辨率

光照环境

模糊程度

遮挡程度

采集角度

人脸位置检测：目的是在图像中准确标定人脸的位置和大小

人脸关键点检测：目的是估计人脸图片上脸部特征点的坐标

图像预处理的目的是消除图像中无关信息，尽可能去除或者减少光照、成像系统、外部环境等对图像的干扰，使它具有的特征能够在图像中明显地表现出来。主要过程包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

传统的人脸识别模型一般都是在SVM等分类器分类后，通过CNN提取特征。 但随着深度学习的发展，人脸识别有更多端到端的框架选择。这里简单介绍一下三种近两年基于深度学习人脸识别的方法：Deep face、Deep ID、FaceNet

将提取的人脸特征数据与数据库中储存的特征模板进行搜索匹配，设定一个最佳的相似度阈值，当相似度超过该阈值，则输出匹配后的结果。最佳相似度阈值的决定需要考虑到输出结果的正确率和数量。

精确率（precision）：识别为正确的样本数/识别出来的样本数

召回率（recall）：识别为正确的样本数/所有样本中正确的数

直方图均衡

滤波

目标检测的实质是多目标的定位，即要在图片中定位多个目标物体。

遮挡、目标消失后再出现，会有丢失目标的现象

相似目标容易被当作同一目标

由于以上原因，在实际场景里多目标跟踪可能会发生人员重复检测、漏检、同一目标多条轨迹等情况。

定位目标在图像中的位置。检测方法很多，例如帧间差分法、背景减除法、光流法等等；另外，检测常与识别结合。

在连续图像序列中完成对目标的检测，并把物理意义下同一目标相关联。

一条轨迹对于这一目标在一段时间内的位置序列；是多目标跟踪系统的输出量。

用于解决目标间的匹配问题；是多目标跟踪的核心问题。

跟踪算法反应每一次跟踪的可靠程度。

摄像头选取需要考虑到两个指标：像素分辨率和摄像头焦距。像素分辨率：可以通过所检测物体的最小特征决定像素分辨率。公式为：（检测物体最大长度/物体最小特征值）*2。假设字符最大长度为300mm，最小特征值为1mm，则最小所需分辨率为600。镜头焦距：焦距（F）的选择由CCD传感器的尺寸（Ss）、工作距离(摄像机镜头到被测物体的距离Wd)和摄像机的视场范围(Os)--3个参数来决定。

图像常见格式有BMP、GIF、JPG等，其中BMP格式最不容易出问题。

图像预处理主要包括二值化、图像增强、噪声处理、图像滤波等。

考虑通过聚类、分割、去噪、池化等步骤获取图像中文字特征。

聚类是根据图像特点自适应地进行多值化的过程。推荐“极大值极小值分割”聚类方式：有多少个极大值点，就聚为多少类，并且以极小值作为类别之间的边界。通过聚类可将图片分成不同图层。

分层识别： 每一层图像由若干联通区域组成，在此时需要文字具有一定抗腐蚀能力。联通区域边界线越短，抗腐蚀能力越强；联通区域边界线越长，抗腐蚀能力越差。 联通区域的抗腐蚀能力=该区域被腐蚀后的总面积/该区域被腐蚀前的总面积。

池化操作：对特征层进行整合

后期处理：a.高低密度区排除：b.孤立区排除

邻近搜索，目的是圈出单行文字。 由于部分汉字是由很简单的其他汉字组成，比如“胆”就是由“月”和“旦”组成，我们需要经过邻近搜索算法，整合可能成字的区域。

文本切割，目的是将单行文本切割为单字。利用切割方法（比如均匀切割），将单行文本切割成一个一个的单字。

模型选择：选择卷积神经网络模型

训练数据：除可直接获取到的数据外，还可利用程序自动生成一批训练数据，需要考虑到以下因素： a.字库的字体数目； b.同字不同字体； c.同字不同颜色； d.同字不同大小； e.同字不同清晰程度； f.中英文数字等等语言种类； g.噪音影响。

输出结果： a.有形近字的情况，优先考虑高频字：例如”天“和”夭“，“天”出现的频率更高，优先考虑“天”； b.通过模型精确率评估模型效果； d.对数据进行随机增加噪音，测试模型的效果； e.后期处理校正：利用人工或者上下文关系，对识别结果进行校正； f.若需按照原文排版识别，还需用版面恢复算法将输出结果输出到word或者pdf。

词法歧义性：单词有多重含义

句法歧义性：语句有多重解析树

语义歧义性：句子有多重含义

回指歧义性（Anaphoric Ambiguity）：之前提到的短语或单词在后面句子中有不同的含义。

文本规划：完成结构化数据中基础内容的规划。 语句规划：从结构化数据中组合语句，来表达信息流。 实现：产生语法通顺的语句来表达文本。

①中文分词错误 ②关键词错误 ③中文分词和关键词均错

像第一种和第二种，拿过来直接改就好。第三种会比较麻烦，需要同时看中文分词的文件和关键词的文件来处理。而分词本身就很容易出问题，如多音字造成的badcase

公式

计算“产品助理”和“产品经理招聘会么”之间的欧氏距离，过程如下： 文本向量A=（产，品，助，理），即x1=产，x2=品，x3=经，x4=理，x5、x6、x7均为空； 文本向量B=（产，品，经，理，招，聘，会），即y1=产，y2=业，y3=经，y4=理，y5=是，y6=什，y7=么。 这里规定，若xi=yi，则xi-yi=0； 若xi≠yi，|xi-yi|=1。 所以，欧氏距离是2 不适用场景 文本相似度，意味着要能区分相似/差异的程度，而欧氏距离更多的只能区分出是否完全一样。而且，欧氏距离对位置、顺序非常敏感，比如“我是老狼”和“老狼是我”，在人看来，相似度非常高，但是用欧氏距离计算，两个文本向量每个位置的值都不同，即完全不匹配。

和欧氏距离非常相似（把平方换成了绝对值，拿掉了根号） 也叫编辑距离（Levenshtein距离、莱文斯坦距离） 顾名思义，编辑距离指的是将文本A编辑成文本B需要的最少变动次数（每次只能增加、删除或修改一个字）。 例、计算“菠萝”和“菠萝包”之间的编辑距离。 因为将“菠萝”转化成“菠萝包”，至少需要且只需要1次改动，所以它们的编辑距离是1。（如图1） 因此，编辑距离是对称的，即将A转化成B的最小变动次数和将B转化成A的最小变动次数是相等的。 同时，编辑距离与文本的顺序有关。 比如，“菠萝”和“萝菠”，虽然都是由“菠”“萝”组成，但因为顺序变了，编辑距离是2，而不是0。（如图2） 适用场景 编辑距离算出来很小，文本相似度肯定很高。如果用算法语言来说的话，就是精确率很高（即虽然会漏掉一些好的case，但可以确保选出来的case一定非常好）。 不适用场景 反过来说，虽然精确率很高，但召回率不高（准确率、精确率、召回率的定义见文章底部外链）。在某些业务场景中，漏掉的case会引起严重后果，比如“恭喜发财”和“发财恭喜”，人的理解应该非常相似，可编辑距离却是4，相当于完全不匹配，这显然不符合预期。

公式

杰卡德相似度，指的是文本A与文本B中交集的字数除以并集的字数 例、计算“极品飞车”和“侠盗飞车”的杰卡德相似度。 因为它们交集是{飞，车}，并集是{极，品，飞，车，侠，盗}，所以它们的杰卡德相似度=2/6=1/3。 杰卡德相似度与文本的位置、顺序均无关，比如“绝地求生”和“求生绝地”的相似度是100%。无论“绝地求生”这4个字怎么排列，最终相似度都是100%。 在某些情况下，会先将文本分词，再以词为单位计算相似度。比如将“绝地求生”切分成“绝地/求生”，将“求生绝地”切分成“求生/绝地”，那么交集就是{绝地，求生}，并集也是{绝地，求生}，相似度恰好仍是100%。 适用场景 1）对字/词的顺序不敏感的文本，比如前述的“零售批发”和“批发零售”，可以很好地兼容。 2）长文本，比如一篇论文，甚至一本书。如果两篇论文相似度较高，说明交集比较大，很多用词是重复的，存在抄袭嫌疑。 不适用场景 1）重复字符较多的文本，比如“说说说说说你爱我”和“说你爱爱爱爱爱我”，这两个文本有很多字不一样，计算出来的相似度是100%（交集=并集），但我们觉得这个答案跟认知不符，认知上这两个文本不一样。 2）对文字顺序很敏感的场景，比如“一九九七”和“一七九七”，杰卡德相似度是100%，意思却完全不同。

公式