(一)一維最佳化方法。主要有以下三類:1)基於盲人探路思想的試探法。以步長加倍策略將極值點確定在距離當前點單步步長之內,再以步長減半策略,使當前點接近於極值點。主要有確定極值點所在區間的進退法(應用推論1)、一維盲人探路法(在進退法基礎上增加一個模組)、一階導數符號法(應用推論2)等。2)區間削去法。比較區間內兩點的目標函式值或計算一點的導數符號,根據單峰假設將極值點所在區間削短。主要有對稱等比例、對稱變比例區間分割法、平分法、切線交點法、自適應二分法等。3)擬合函式尋點法。主要是二次擬合函式法(拋物線法)、三角擬合函式法、二次擬合函式定點法、一次擬合導函式法等。
(二)多維無約束最佳化方法。主要有:1)負梯度方向法及基於盲人探路思想的折線負梯度方向法。2)多維二階近似式方向法及其近似演算法。3)座標系擬均勻變換法,也稱為座標變換法,包括區域性座標系的建立。4)獲得共軛方向的方法,主要有定義法、幾何法、待定係數法、兩次同方向尋優獲得法、連續兩次沿負梯度方向尋優獲得法(四尋法、六尋法、三尋法)等。5)共軛方向輪換法,主要有幾何法、待定係數法、正交向量組法等,包括方向組的概念。6)尋優方向的數值演算法實現,基於二次函式假設的數值偏導數、方向導數計算式,構造二階偏導數矩陣法、大步長探測等演算法例項。7)擬合函式法,主要有多維二次擬合函式法和線性擬合梯度法。8)不求偏導數的方向組輪換法,主要有座標方向輪換法、自適應座標下降法、經典Powell基本演算法和改進演算法、構造共軛方向法等。9)無界多面體變形法,也稱為單形替換法或單純形法,與多維有約束複合形法的尋優思想相同。
(三)多維有約束最佳化方法。主要有:1)可行域內直接求解法,主要包括網格法、有界多面體變形法(複合形法)、隨機方向法等。2)優選可用方向法,尋優到約束邊界之後,尋優最好的方向繼續尋優,是船到橋頭自然直的正確思路。3)半步法,沒有尋優到約束邊界的時候採用無約束最佳化方法,尋到之後退半步重新選擇新的尋優方向,是未雨抽聊的研究思路。4)化簡法,主要有基於二階近似式構造尋優方向法、基於一階近似式線性化法。5)構造無約束最佳化問題序列法,採用加權組合的方式將目標函式和約束函式轉化為無約束最佳化問題,權按照一定規律變化,從而構造出一系列的無約束最佳化方法,主要有圍牆法(內點懲罰函式法,須加固圍牆)和土堆法(外點懲罰函式法)。
(四)線性最佳化方法。對於目標函式和約束函式均為設計變數線性函式的最佳化問題,其約束邊界和目標函式等值線均為直線,可行點的集合構成一個凸集,且為凸多面體。如果存在最優點,則必為該凸集的某個頂點。尋找最優點就是在該凸多面體上確定最優的頂點。主要方法為單純形法,在可行域多面體的某一個頂點出發,逐漸滑向更好的頂點,最終獲得最優點。
(五)多目標最佳化方法。主要有以下幾類:1)窮舉類方法。直接求出所有分目標函式的最優點,然後在各個目標之間進行協調,使其相互間作出適當“讓步”,以便獲得整體最優方案,選擇較好的設計點。或者列出所有方案,採用專家評議、領導拍板等方式確定最優方案。2)直接重構單目標函式法。直接由各分目標函式構造一個新的目標函式,從而將多目標的最佳化問題轉化為單目標的。如主要目標法、線性加權組合法、取最大分目標函式值法、分目標乘除法、分層序列法等,其中線性加權組合法最具有實用性。3)間接重構單目標函式法。將原分目標函式適當處理後構造一個新的目標函式。如理想點法、功率係數法(幾何平均法)、協調曲線法等。
(六)離散變數最佳化方法。主要有三類:1)按連續變數處理法。取得最優點後,再圓整。離散變數依次確定,原最佳化問題依次降維。2)隨機法。根據實際情況隨機確定一些設計點,然後從中選取最優點。或者在初始點周圍以隨機方式尋找多個設計點,取其最優者作為當前點繼續尋優。3)窮舉法。如分支定界法、網格法。
(七)基於其他理論的最佳化方法。實際上,存在很多不能由標準數學模型描述的最佳化問題,其數學模型的建立與評價均沒有固定的模式,可行域不連續,甚至只是一些零散的可行點,並且各可行點的優劣難以用統一的標準衡量,比如旅行商最佳路徑問題、揹包問題等。在日常生活當中也存在著類似的問題,如股市運作,何時何股入市最優;戰爭發起,何時何地以什麼方式最有利;個人學習計劃,先學習還是先工作,學什麼課程做什麼工作最好。借用其他學科的理論知識,可發展一些最佳化方法,如遺傳演算法、神經網路演算法、基於知識的專家系統演算法、蟻群演算法、模擬退火演算法、分形與混沌演算法等。這些方法均以全域最佳化問題為研究物件,基於機率論和隨機理論,使多個盲人按相同規律尋求全域極值點,因此也稱為智慧最佳化演算法。其共同特點是“無序中尋求有序,偶然中探索必然”。
(八)常見的最佳化算例。1)一維單峰函式。用於一維最佳化方法的檢驗。2)二維二次函式。可繪圖直觀地表示尋優過程,,檢驗演算法最直接有效。因為最佳化方法都是在單峰假設下提出來的,即假設目標函式為二次函式,檢驗結果可信。3)多維二次函式。構造共軛方向的最佳化方法對於二維最佳化問題效果明顯,但是需要在多維設計空間當中檢驗。4)複雜函式。最典型的是Rosenbrock函式,由於存在一個彎彎的峽谷,成為許多最佳化方法的滑鐵盧。5)目標函式沒有數學表示式的最佳化問題。如目標函式的求取需要藉助於其他計算演算法。6)抽象最佳化問題。設計變數沒有優選值問題、目標函式和約束函式難以用數學表示式表示。比如揹包問題、旅行商問題、交通訊號燈規劃問題等。對於這些問題,窮舉法是最可靠的演算法。
(九)主要文獻。上述綜述主要是基於一下創新性文獻而完成的:[1] 例證多維二階近似式法的適用性[J]. 德州學院學報, 2017,33(6):12-14.[2] 多維二次擬合函式最佳化方法[J]. 甘肅科學學報, 2017, 29(5):26-28.[3] 基於目標函式梯度向量的相鄰方向共軛法[J].甘肅科學學報,2017,29(05):15-21.[4] 目標函式最佳化的切線交點法[J]. 機械設計與研究(核心), 2017, 33(2):17-19,24.[5] The program verification of the three-seeking and six-seeking method based on the conjugate direction[A]. . 2017 5th International Conference on Machinery, Materials and Computing Technology(ICMMCT2017), March 25-26, 2017 Beijing, China. Advances in Engineering, volume 126, pp109-114.[6] 基於盲人探路尋優思想的二階近似式定點法研究[J]. 中國石油大學學報(自然科學版), 2017, 41(1): 144-149.[7] 盲人探路負梯度方向法[J]. 甘肅科學學報, 2016, 28(5):116-122.[8] Blind-walking optimization method[J]. Journal of Networks, 2010, 5(12):1458-1466.[9] 最佳化方法[M]. 東南大學出版社, 2009.10[10] 隨機方向法改進及其驗證[J]. 計算機模擬, 2009, 26(1):189-192.[11] 具有畸形約束極值點問題的最佳化[J]. 中國科技論文線上學報, 2008, 3(8):562-565.[12] 形象化教學方法在“機械最佳化設計”課程中的應用[J]. 中國石油大學學報(社科版), 2008, 25(S): 90-92[13] 加固圍牆的內點懲罰函式法防越界驗證[J]. 機械設計, 2007, 24(S):111-112.[14]連續負梯度方向獲得共軛方向的六尋最佳化方法[J]. 計算機科學與探索, 2019, 13(0).