簡介
隨著科技的進步和技術的不斷發展,算法的計算量和複雜程度也在成倍增加。算法中經常包含著各種非線性運算,如對數運算、開方運算、指數運算、三角函式運算等。比如神經網路算法就存在著大量的指數和對數運算。“對數和指數甚至無處不在”。
非線性函式的運算實現方式主要有CORDIC算法和泰勒級數逼近2種。
泰勒級數逼近討論的是一種局部的多項式逼近，是在一定的誤差用一個n階多項式近似代替鄰域範圍內的非線性函式，其涉及到多次乘法和除法運算。乘、除法運算的次數與泰勒級數展開的階數n有關，n越大，所需乘法和除法次數越多。由於浮點乘法運算複雜，且不同的函式的泰勒級數展開式不同，因此用泰勒級數實現非線性函式會降低 浮點運算的速度。而CORDIC算法將非線性函式的計算分解為一系列的加減法操作和移位操作，非常適合硬體實現。
非線性數學
定義
非線性數學，是數學科學的一個新的門類和學科體系。其是與傳統的線性數學體系相對應的、相對稱的數學領域。迄今為止的大部分數學學科，屬於線性數學領域。非線性數學的基礎，是傳統的線性數學。同時，非線性數學也有著與線性數學本質上不同的獨特理論和方法。一般認為，孤立波和湍流、混沌和分形等領域的數學，屬於非線性數學領域。非線性數學，必將成為未來數學的主流。
解釋
非線性數學，是用非線性數學理論和方法來研究非線性現象、解決非線性問題的數學理論體系，是研究非線性科學一般規律的基礎理論和數學工具。非線性數學，有一系列獨有的概念、定義、定理和方法。非線性數學的研究對象，源自實踐和理論兩個方面，源自非線性現象、非線性問題和非線性科學。其有著複雜的數學關係、數學結構和數學性質。很多研究對象，呈現出良好的自相似性、對稱性和周期性。
非線性數學的基本方法，是基於研究對象的整體，從巨觀上認識規律、把握規律，具有綜合性、複雜性特徵。其不同於傳統的線性數學，局限於還原論的微觀分析，儘管需要借用離散化、線性化的處理方式和數學方法。
組成
非線性數學，至少應包含以下各方面內容：
——非線性算術，即非線性數論，其基礎是經典同餘概念下的複合同餘性的研究，核心是滿足整性要求的條件疊代下的離散動力系統的研究內容，走的是非傳統數系逐步擴展的、保持整性的創新道路。這在原始和廣義克拉茨問題研究中，已經取得突破性成果。
——非線性代數，即非線性抽象代數，其核心是在元素分類、集合分解基礎上的非線性群、非線性環、非線性域等方面的研究。某些典型的非線性代數結構，均有很好的對稱性和數學性質。
——非線性幾何，自然應包括曼德勃羅的以分數維研究為重點的分形幾何學。
——非線性方程，從非線性觀點開展各類常微分方程和偏微分方程的研究，在尋求公式解和近似解之間打開新的通路。其中，各類不動點（系）和極限環是方程解的穩定性研究的重點。
——非線性分析，即非線性數學分析，以非線性收斂性（包括非線性一致收斂、非線性絕對收斂）等概念為基礎，研究實數全域中的定義域（初值）分類和值域作為“收斂集合”的“動阻耦合”映射下的極限性質，將經典數學分析研究的微觀的點收斂、中觀的區間收斂，拓展到整體的全域（包括低維和高維空間）的收斂集合（其中包含各種形式收斂的子集合）；也應包含混沌學、波萊爾的測度論和魯濱遜的非標準分析等內容。需要指出的是，發展二維的非線性複分析，可能是通向黎曼猜想解決的途徑之一。
——非線性拓撲，重點研究滿足正則非線性條件的非線性同構、同胚和非整數（分數）虧格等方面的問題。
——非線性機率，包括非線性數學期望等方面的研究。
——非線性邏輯，即非線性數理邏輯，引入自相似結構模式歸納的非線性公理，構建非線性數學歸納法的公理基礎。
線性運算
線性運算是加法和數量乘法， 在實數領域像只包含加法和數量乘法二元一次方程就屬於線性運算，如y=3x+5。如果是矩陣的加法和數乘運算，就稱為矩陣的線性運算；如果是向量的加法和數乘運算，統稱為向量的線性運算。對於不同線性運算一般有不同的形式，它們滿足交換律、結合律、分配律等。
矩陣的加法和數乘運算，統稱為矩陣的線性運算。矩陣的加法就是矩陣對應元素相加，當然，相加的矩陣必須要有相同的行數和列數，即只有同型矩陣方可相加。由於矩陣加法歸結為它們元素的加法，即數的加法，故不難驗證矩陣加法滿足：結合律、交換律。
向量的加法和數乘運算，統稱為向量的線性運算。包括加法交換律、加法結合律、數乘分配律、數乘結合律等。
非線性規劃
線性規劃是具有非線性目標函式或者約束條件的一種數學規劃，他是運籌學的一個重要的分支。非線性規劃問題是研究一個多元函式在一組或者多組不等式的約束條件下的最大值或最小值問題，而且約束條件函式和目標函式中至少有一個是未知量的非線性函式。如果目標函式和約束條件函式兩個都是線性函式，那么這種情況就屬於線性規劃。
如果目標函式和約束條件函式兩者中，如果有一方其中含有非線性的數學表達式，那么這種最最佳化問題就叫做非線性規劃問題，當目標函式是二次方程，而約束條件函式是線性方程的時候，就成為二次規劃問題，對於二次規劃問題，現今的理論和解決方法都是比較成熟的。如果目標函式中，數學表達式中含有一些函式的平方和的形式的情況，則有一些專門解決平方和最最佳化問題的最最佳化方法。當目標函式中，含有多項式的時候，這種最最佳化問題就叫做幾何規劃問題。幾何規劃問題就是一種特殊的非線性規劃問題。
非線性規划算法是 20 世紀50 年代開始形成並發展起來的一門非常新興並且前端的學科。1951 年H·W·庫恩和A·W·塔克發表了一篇關於最優性條件（後來被稱為庫恩·塔克條件）的論文就是非線性規划算法正式誕生並且開始發展起來的一個重要的標誌。50 年代還產生了二次規劃與可分離規劃的很多種解法，這些解法大部分都是以 G·B·丹齊克所提出的一種基於解決線性規劃問題的單純形法為理論基礎的。而到了 50 年代末至60 年代末的時候，出現了很多解決非線性規劃問題的非常有效的算法，到了 70 年代，又有了進一步的發展。
非線性運算的套用
非線性規划算法在很多領域有著重要的用途，包括：經營管理、工程設計、軍事指揮、科學研究等方面，這些領域研究中往往都會存在著最最佳化的問題。例如：如何在現有的人力、物力和財力的條件下去合理的安排產品的生產，以取得最大化的利潤；如何設計某一種產品，在滿足規格和性能要求的條件下，達到最小化的成本；如何確定某一個自動控制系統的某些重要參數，使得該系統的工作狀態保持最佳；如何分配某一個動力系統中的各個電站的負荷，在保證系統要求的指標前提下，使總耗費最小化；如何安排庫存的儲量，既可以保證供應，也可以使儲存的費用最少；如何組織貨源，既可以滿足顧客的需求，也可以使資金周轉的最快等等。對於一些目標函式和約束條件中出現未知數的非線性函式，而且不便於把他們線性化，或者勉強線性化以後可能導致較大誤差，這個時候就可以用非線性規劃的算法去處理這類問題。而解非線性規劃的算法很多，比較著名的有罰函式法、BFGS 法等等。
