2024年10月正则化对线性回归的作用及意义（正则化（Regularization））
⑴正则化对线性回归的作用及意义（正则化（Regularization
⑵正则化（Regularization
⑶在之前的学习中，我们已经了解了线性回归和逻辑回归的相关问题，并且学习了两种算法的假设函数和梯度下降的基本算法。但是，在算法的实际应用中，并不是特征值越多，假设函数与训练数据集拟合的越完美越好，或者说其代价函数为（，出现这种情况会使得假设函数预测新的数据变得困难，称之为过拟合（Overfitting，过拟合如下图所示：为了解决过拟合问题，有以下解决方案:正则化的思想就是减少高次项的值，使得曲线平滑，因此，在线性回归算法中的代价函数可以如下表示：以上公式中，表示正则化参数，在算法实际运行过程中，要选择合适的值，不能使其过大，否则可能会导致过拟合不能被消除，或者梯度下降算法不收敛。正规方程法的正则化算法公式如下：其中表示x的对角矩阵，其主对角线第一个元素为，其余全为.与线性回归算法类似，逻辑回归算法的正则化也是通过减少高次项的值，使得决策边界变得平滑，以避免出现过拟合问题，其代价函数正则化用如下公式表示：梯度下降算法中的正则化表示如下所示：需要注意的是：与线性回归不同的是，此时
⑷通过正则化解决过拟合问题
⑸过拟合是机器学习中的常见问题，它是指模型在训练数据集上表现良好，但是用于未知数据时性能不佳如果一个模型出现了过拟合问题，我们也说此模型有高方差，这有可能是因为使用了相关数据中过多的参数，从而使得模型变得国于复杂。同样，模型也可能面临欠拟合（高偏差问题。如果我们多次重复训练一个模型，如使用训练数据集中不同的子集，方差可以用来衡量模型对特定样本实例预测的一致性。可以说模型对训练数据中的随机性是敏感的相反，当我们在不同的训练数据集上多次重建模型时，偏差可以从总体上衡量预测值与实际值之间的差异;偏差并不是由样本的随机性导致的，它衡量的是系统误差偏差-方差权衡就是通过正则化调整模型的复杂度。正则化是解决共线性（特征间高度相关的一个很有用的方法，它可以过滤掉数据中的噪音，并最终防止过拟合**由于过拟合本质是过多的特征被启用导致的，导致模型泛化性变差，所以防止过拟合要降低特征的数量，可以通过使w个数减少，问题就变成让W向量中项的个数最小化，方法就是让w变成或趋近于，因为向量中元素对应的x是没有任何权重的。L范数是指向量各元素的平方和然后求平方根。我们让L范数的正则项最小，可以使得W的每个元素都很小，都接近于，但与L范数不同，它不会让它等于，而是接近于，这里是有很大的区别的哦正则化背后的概念是引入额外的信息（偏差来对极端参数权重做出惩罚。最常用的正则化形式被称为L正则化，有时也称作L收缩或权重衰减特征缩放之所以重要，其中一个原因就是正则化。为了使得正则化起作用，需要确保所有特征保持统一使用正则化方法时，我们只需在逻辑斯蒂回归的代价函数中加入正则化项，以降低回归系数带来的副作用通过正则化系数，保持权值较小时，我们就可以控制模型与训练数据的拟合程度
⑹机器学习模型需要拥有很好地泛化能力来适应训练集中没有出现过的新样本。在机器学习应用时，我们经常会遇到过度拟合(over-fitting)的问题，可能会导致训练出来的模型效果很差。接下来，我们将谈论的正则化(regularization)技术，它可以改善或者减少过度拟合问题，以使学习算法更好实现。
⑺机器学习中一个重要的话题便是模型的泛化能力，泛化能力强的模型才是好模型，对于训练好的模型，若在训练集表现差，不必说在测试集表现同样会很差，这可能是欠拟合（underfitting导致；若模型在训练集表现非常好，却在测试集上差强人意，则这便是过拟合（overfitting导致的，过拟合与欠拟合也可以用Bias与Variance的角度来解释，欠拟合会导致高Bias，过拟合会导致高Variance，所以模型需要在Bias与Variance之间做出一个权衡。
⑻使用简单的模型去拟合复杂数据时，会导致模型很难拟合数据的真实分布，这时模型便欠拟合了，或者说有很大的Bias，Bias即为模型的期望输出与其真实输出之间的差异；有时为了得到比较精确的模型而过度拟合训练数据，或者模型复杂度过高时，可能连训练数据的噪音也拟合了，导致模型在训练集上效果非常好，但泛化性能却很差，这时模型便过拟合了，或者说有很大的Variance，这时模型在不同训练集上得到的模型波动比较大，Variance刻画了不同训练集得到的模型的输出与这些模型期望输出的差异。
⑼Bias反映的是模型的期望与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。
⑽我们通过公式来直观了解一下，文字没有数学符号解释的清楚：
⑾用图形解释方差与偏差：
⑿举一个例子，一次打靶实验，目标是为了打到环，但是实际上只打到了环，那么这里面的Error就是。具体分析打到环的原因，可能有两方面：一是瞄准出了问题，比如实际上射击瞄准的是环而不是环；二是枪本身的稳定性有问题，虽然瞄准的是环，但是只打到了环。那么在上面一次射击实验中，Bias就是,反应的是模型期望与真实目标的差距，而在这次试验中，由于Variance所带来的误差就是，即虽然瞄准的是环，但由于本身模型缺乏稳定性，造成了实际结果与模型期望之间的差距。
⒀简单的模型会有一个较大的偏差和较小的方差，复杂的模型偏差较小方差较大。
⒁解决欠拟合的方法：、增加新特征，可以考虑加入进特征组合、高次特征，来增大假设空间;、尝试非线性模型，比如核SVM、决策树、DNN等模型;、如果有正则项可以较小正则项参数;、Boosting,Boosting往往会有较小的Bias，比如GradientBoosting等.解决过拟合的方法：、交叉检验，通过交叉检验得到较优的模型参数;、特征选择，减少特征数或使用较少的特征组合，对于按区间离散化的特征，增大划分的区间;、正则化，常用的有L、L正则。而且L正则还可以自动进行特征选择;、如果有正则项则可以考虑增大正则项参数;、增加训练数据可以有限的避免过拟合;、Bagging,将多个弱学习器Bagging一下效果会好很多，比如随机森林等.DNN中常见的方法：、早停策略。本质上是交叉验证策略，选择合适的训练次数，避免训练的网络过度拟合训练数据。、集成学习策略。而DNN可以用Bagging的思路来正则化。首先我们要对原始的m个训练样本进行有放回随机采样，构建N组m个样本的数据集，然后分别用这N组数据集去训练我们的DNN。即采用我们的前向传播算法和反向传播算法得到N个DNN模型的W,b参数组合，最后对N个DNN模型的输出用加权平均法或者投票法决定最终输出。不过用集成学习Bagging的方法有一个问题，就是我们的DNN模型本来就比较复杂，参数很多。现在又变成了N个DNN模型，这样参数又增加了N倍，从而导致训练这样的网络要花更加多的时间和空间。因此一般N的个数不能太多，比如-个就可以了。、DropOut策略。所谓的Dropout指的是在用前向传播算法和反向传播算法训练DNN模型时，一批数据迭代时，随机的从全连接DNN网络中去掉一部分隐藏层的神经元。在对训练集中的一批数据进行训练时，我们随机去掉一部分隐藏层的神经元，并用去掉隐藏层的神经元的网络来拟合我们的一批训练数据。使用基于dropout的正则化比基于bagging的正则化简单，这显而易见，当然天下没有免费的午餐，由于dropout会将原始数据分批迭代，因此原始数据集最好较大，否则模型可能会欠拟合。
⒂正则化的目的是限制参数过多或者过大，避免模型更加复杂。例如，使用多项式模型，如果使用阶多项式，模型可能过于复杂，容易发生过拟合。因此需要在目标函数添加一些额外的惩罚项，即正则项。添加惩罚项可看成是对损失函数中的某些参数做一些限制，根据惩罚项的不同可分为：L范数惩罚、L范数惩罚（参数稀疏性惩罚、L范数惩罚（权重衰减惩罚。L范数惩罚：为了防止过拟合，我们可以将其高阶部分的权重w限制为，这样，就相当于从高阶的形式转换为低阶。为了达到这一目的，最直观的方法就是限制w的个数，但是这类条件属于NP-hard问题，求解非常困难。因此机器学习中经常使用L、L正则化。L正则化项也称为Lasso，L正则化参数也称为Ridge。L范数：权值向量w中各个元素的绝对值之和，L正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择。L范数：权值向量w中各个元素的平方和然后再求平方根，L正则化可以防止模型过拟合；一定程度上，L也可以防止过拟合。
⒃上面我们得到了带约束的优化问题A，在实际的求解中，带约束的优化问题往往较难求解，大多都是转化为无约束优化问题去求解。接下来自然而然的我们采用拉格朗日乘子法将约束转化到目标函数上去，也就将约束优化问题A转化为一个无约束的优化问题。那么这个无约束优化问题的形式是什么样的呢？这里直接先把最终的结论摆上来：
⒄稀疏性对很多机器学习建模问题来说是非常重要的，也是非常好的一个性质。既然有很多系数等于了，那么说明与之对应的输入是没有用了，这些输入就可以舍去，相当于起到了降维和featureselection的作用。特殊要说明的是用L正则化来降维和PCA降维是不同的，可以理解为L正则化是用了数据的标签来做的，而PCA无需数据的标签。所以L正则化实际上是带有监督学习性质的降维方法。
⒅拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是抗扰动能力强。
⒆λ可以控制L图形的大小，λ越小，L的图形越大（上图中的黑色方框和圆；λ越大，L的图形越小，最后求得代价函数最值时各参数也会变得很小。从另一方面看，由公式可以看到，λ越大，θj衰减得越快。
⒇机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？机器学习防止欠拟合、过拟合方法
⒈【学界】有约束转无约束，拉格朗日松弛观点下的L正则化稀疏性探讨
⒉斯坦福机器学习课程第三周()正则化：解决过拟合问题
⒊拉格朗日乘子法如何理解？
⒋机器学习中正则化项L和L的直观理解
⒌特征选择的原因：属性过多易造成维数灾难，仅选择重要特征构建模型则能减轻该问题；去除不相关特征能降低学习任务的难度。冗余特征：所包含的信息能从其他特征中推演出来。eg已知立方体底面长和宽，则底面积是冗余特征，但作为学习任务“中间概念”时能加速运算，例如计算立方体体积，知道底面积能加速运算。欲从初始特征集合中选取一个包含所有重要信息的特征子集，一般包含两个环节：子集搜索与子集评价。.子集搜索一般分为前向搜索、后向搜索和双向搜索。前向搜索：给定特征集合，将每个特征看做一个候选子集，对这d个候选单特征子集进行评价，假定最优，将作为第一轮的选定集；然后，在上一轮的选定集中加入一个特征，构成包含两个特征的候选子集，假定在这d-候选子集中最优，且优于，将做为本轮的选定集，假定在低k+轮时，最优的候选（k+特征子集不如上一轮的选定集，停止。后向搜索：类似前向搜索，但从完整的特征集合开始，每次尝试去掉一个无关特征，逐渐减少特征的过程。双向搜索：将前向与后向搜索结合起来，每一轮逐渐增加选定相关特征（这些特征在后续轮中将确定不会被去除、同时减少无关特征。显然上述策略都是贪心的，因为仅考虑了使本轮选定集最优。.子集评价特征子集A实际上确定了对数据集D的一个划分，这个划分与真实划分的差异越小，说明A越好。可通过信息熵判断这个差异。给定数据集D,假定D中第i类样本所占的比例为。对于属性子集A，假定根据其取值将D分成了V个子集，每个子集的样本在A上取值相同，于是我们可计算属性子集A的信息增益：信息增益越大，则特征子集包含的有助于分类的信息越多。过滤式方法先对数据集进行特征选择，然后再训练学习器，特征选择与训练学习器过程无关。Relief是一种著名的过滤式特征选择方法，它设计了一个“相关统计量”来度量特征重要性。对每个示例，relief先在其同类样本中找最近邻（猜中近邻，再从其异类样本中找最近邻（猜错近邻，则相关统计量对应属性j的分量为：最后对基于不同样本的估计结果进行平均，得到各属性的相关统计量分量，分量值越大，对应属性的分类能力越强。多分类Relief相较二分类有多个猜错近邻，计算公式为：Relief只需在数据集的采样上而不必在整个数据集上估计相关统计量，是一种高效的过滤式特征选择方法。包裹式选择的目的是为给定学习器选择最有利于其性能、“量身定做”的特征子集。代表算法LVW是在拉斯维加斯方法框架下使用随机策略进行子集搜索，并以最终分类器的误差为特征子集评价准则。嵌入式特征选择是将特征选择过程与学习器训练过程融为一体，在学习器训练过程中自动进行特征选择。例如对线性回归模型的优化目标函数添加L正则项：LASSO:????????L正则化有助于防止过拟合，常见的L正则化也可实现这一目的：岭回归：????????L范数会趋向产生少量的特征（稀疏解，其求得的w会有更少的非零分量；L会选择更多的特征，这些特征的权值都会接近于。因此L范数在特征选择上就十分有用，而L范数则具备较强的控制过拟合能力。可以从下面两个方面来理解：（下降速度：L范数按照绝对值函数来下降，L范数按照二次函数来下降。因此在附近，L范数的下降速度大于L范数，故L范数能很快地下降到，而L范数在附近的下降速度非常慢，因此较大可能收敛在的附近。空间限制：L范数与L范数都试图在最小化损失函数的同时，让权值W也尽可能地小。假定x仅有两个属性，于是无论岭回归还是LASSO接触的w都只有两个分量，即w,w，我们将其作为两个坐标轴，然后在图中绘制出两个式子的第一项的”等值线”。将数据集D看成一个矩阵，每行对应于一个样本，每列对应一个特征，考虑特征具有稀疏性，则通过特征选择去除这些列，就得到了一个稀疏矩阵；数据的另一种稀疏性是指D中存在很多元素，且并不是以整行整列的形式存在。当样本具有这样的稀疏表达形式时，对学习任务有不少好处，例如使大多数问题线性可分，且不会造成存储上的巨大负担。字典学习（稀疏编码：为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式从而使学习任务得以简化，模型复杂度得以降低。采用变量交替优化的策略求解上式：确定映射字典的词汇量k，并初始化字典B，d＊k，其中d为样本属性数；固定住字典B，求得样本集X通过字典映射后的稀疏表示；固定住?来更新字典B；反复第、步，最终可得合适的字典B和样本X的稀疏表示。不同于特征选择和稀疏表示，压缩感知关注的是如何利用信号本身所具有的稀疏性，从部分观测样本中恢复原信号。能通过压缩感知技术恢复欠采样信号的前提之一是信号有稀疏表示。压缩感知一般分为“感知测量”和“重构恢复”两个阶段。感知测量关注如何对原始信号进行处理以获得稀疏样本表示，eg傅里叶变换、小波变换、字典学习、稀疏编码等；重构恢复关注如何基于稀疏性从少量观测中恢复原信号。
⒍非线性函数和线性回归算法的优缺点！
⒎线性回归（正则化优点：线性回归的理解与解释都十分直观，并且还能通过正则化来降低过拟合的风险。另外，线性模型很容易使用随机梯度下降和新数据更新模型权重。缺点：线性回归在变量是非线性关系的时候表现很差。并且其也不够灵活以捕捉更复杂的模式，添加正确的交互项或使用多项式很困难并需要大量时间。望大佬采纳!!!!
⒏机器学习中L正则化和L正则化的区别是什么
⒐L正则假设参数的先验分布是Laplace分布，可以保证模型的稀疏性，也就是某些参数等于；
⒑L正则假设参数的先验分布是Gaussian分布，可以保证模型的稳定性，也就是参数的值不会太大或太小
⒒L正则化和L正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L正则化的模型建叫做Lasso回归，使用L正则化的模型叫做Ridge回归。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||即为L正则化项。
⒓正则化项L和L的直观理解及L不可导处理
⒔正则化（Regularization机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作?-norm和?-norm，中文称作L正则化和L正则化，或者L范数和L范数。L正则化和L正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L正则化的模型建叫做Lasso回归，使用L正则化的模型叫做Ridge回归（岭回归。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||即为L正则化项。下图是Python中Ridge回归的损失函数，式中加号后面一项α||w||即为L正则化项。一般回归分析中回归w表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制。L正则化和L正则化的说明如下：L正则化是指权值向量w中各个元素的绝对值之和，通常表示为||w||L正则化是指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L正则化项有平方符号，通常表示为||w||一般都会在正则化项之前添加一个系数，Python中用α表示，一些文章也用λ表示。这个系数需要用户指定。那添加L和L正则化有什么用？下面是L正则化和L正则化的作用，这些表述可以在很多文章中找到。L正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择L正则化可以防止模型过拟合（overfitting；一定程度上，L也可以防止过拟合稀疏模型与特征选择上面提到L正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？稀疏矩阵指的是很多元素为，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是.通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term作为一个特征，那么特征数量会达到上万个（bigram。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是或者是很小的值，即使去掉对模型也没有什么影响，此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。L和L正则化的直观理解这部分内容将解释为什么L正则化可以产生稀疏模型（L是怎么让系数等于零的，以及为什么L正则化可以防止过拟合。L正则化和特征选择假设有如下带L正则化的损失函数：J=J+α∑w|w|()其中J是原始的损失函数，加号后面的一项是L正则化项，α是正则化系数。注意到L正则化是权值的绝对值之和，J是带有绝对值符号的函数，因此J是不完全可微的。机器学习的任务就是要通过一些方法（比如梯度下降求出损失函数的最小值。当我们在原始损失函数J后添加L正则化项时，相当于对J做了一个约束。令L=α∑w|w|，则J=J+L，此时我们的任务变成在L约束下求出J取最小值的解。考虑二维的情况，即只有两个权值w和w，此时L=|w|+|w|对于梯度下降法，求解J的过程可以画出等值线，同时L正则化的函数L也可以在ww的二维平面上画出来。如下图：图?L正则化图中等值线是J的等值线，黑色方形是L函数的图形。在图中，当J等值线与L图形首次相交的地方就是最优解。上图中J与L在L的一个顶点处相交，这个顶点就是最优解。注意到这个顶点的值是(w,w)=(,w)。可以直观想象，因为L函数有很多『突出的角』（二维情况下四个，多维情况下更多，J与这些角接触的机率会远大于与L其它部位接触的机率，而在这些角上，会有很多权值等于，这就是为什么L正则化可以产生稀疏模型，进而可以用于特征选择。而正则化前面的系数α，可以控制L图形的大小。α越小，L的图形越大（上图中的黑色方框；α越大，L的图形就越小，可以小到黑色方框只超出原点范围一点点，这是最优点的值(w,w)=(,w)中的w可以取到很小的值。类似，假设有如下带L正则化的损失函数：J=J+α∑ww()同样可以画出他们在二维平面上的图形，如下：图?L正则化二维平面下L正则化的函数图形是个圆，与方形相比，被磨去了棱角。因此J与L相交时使得w或w等于零的机率小了许多，这就是为什么L正则化不具有稀疏性的原因。L正则化和过拟合拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。那为什么L正则化可以获得值很小的参数？以线性回归中的梯度下降法为例。假设要求的参数为θ，hθ(x)是我们的假设函数，那么线性回归的代价函数如下：J(θ)=m∑i=m(hθ(x(i))?y(i))()那么在梯度下降法中，最终用于迭代计算参数θ的迭代式为：θj:=θj?αm∑i=m(hθ(x(i))?y(i))x(i)j()其中α是learningrate.上式是没有添加L正则化项的迭代公式，如果在原始代价函数之后添加L正则化，则迭代公式会变成下面的样子：θj:=θj(?αλm)?αm∑i=m(hθ(x(i))?y(i))x(i)j()其中λ就是正则化参数。从上式可以看到，与未添加L正则化的迭代公式相比，每一次迭代，θj都要先乘以一个小于的因子，从而使得θj不断减小，因此总得来看，θ是不断减小的。最开始也提到L正则化一定程度上也可以防止过拟合。之前做了解释，当L的正则化系数很小时，得到的最优解会很小，可以达到和L正则化类似的效果。正则化参数的选择L正则化参数通常越大的λ可以让代价函数在参数为时取到最小值。下面是一个简单的例子，这个例子来自Quora上的问答。为了方便叙述，一些符号跟这篇帖子的符号保持一致。假设有如下带L正则化项的代价函数：F(x)=f(x)+λ||x||其中x是要估计的参数，相当于上文中提到的w以及θ.注意到L正则化在某些位置是不可导的，当λ足够大时可以使得F(x)在x=时取到最小值。如下图：图L正则化参数的选择分别取λ=.和λ=，可以看到越大的λ越容易使F(x)在x=时取到最小值。L正则化参数从公式可以看到，λ越大，θj衰减得越快。另一个理解可以参考图，λ越大，L圆的半径越小，最后求得代价函数最值时各参数也会变得很小。Reference过拟合的解释：
⒕正则化是通过改变模型参数来防止过拟合的一个方法。前面使用多项式回归，如果多项式最高次项比较大，模型就容易出现过拟合。正则化是一种常见的防止过拟合的方法，一般原理是在代价函数后面加上一个对参数的约束项，这个约束项被叫做正则化项（regularizer。在线性回归模型中，通常有两种不同的正则化项：.加上所有参数（不包括thea的绝对值之和，即ll范数，此时叫做Lasso回归.加上所有参数（不包括thea的平方和，即ll范数，此时叫做岭回归
⒖正则化的通俗解释就是给平面不可约代数曲线以某种形式的全纯参数表示。
⒗正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。正则化：代数几何中的一个概念。
⒘反问题有两种形式。最普遍的形式是已知系统和输出求输入，另一种系统未知的情况通常也被视为反问题。许多反问题很难被解决，但是其他反问题却很容易得到答案。显然，易于解决的问题不会比很难解决的问题更能引起人们的兴趣，我们直接解决它们就可以了。那些很难被解决的问题则被称为不适定的。
⒙求解不适定问题的普遍方法是：用一组与原不适定问题相“邻近”的适定问题的解去逼近原问题的解，这种方法称为正则化方法。如何建立有效的正则化方法是反问题领域中不适定问题研究的重要内容。通常的正则化方法有基于变分原理的Tikhonov正则化、各种迭代方法以及其它的一些改进方法，在各类反问题的研究中被广泛采用，并得到深入研究。