神經網絡算法

開篇：寫作不僅是一種記錄，更是一種創造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇神經網絡算法，希望這些內容能成為您創作過程中的良師益友，陪伴您不斷探索和進步。

第1篇

【關鍵詞】深度學習 卷積神經網絡 權值共享 下采樣 R-CNN Fast-R-CNN

1 緒論

隨著電子信息技術的快速發展，芯片的設計與生產進入了納米時代，計算機的計算能力與計算速度得到了空前的提高，但是人們的需求是無限的，要求計算機能更加任性化的服務于我們的生活，這也就要求計算機本身能像人一樣識別與感知周圍的環境，并對復雜的環境做出正確的判斷。而圖片信息是我們周圍環境最直觀的，最容易獲取的信息，要求計算機能對為的環境做出識別與判斷也就要求計算機能夠智能的識別圖像信息。深度學習是機器學習中的一個新的研究領域。通過深度學習的方法構建深度網絡來抽取目標特征進而識別周圍的環境。卷積神經網絡對圖像的處理具有平移，旋轉，扭曲不變的優良特性。在處理圖像是更加快捷和便利。卷積神經網絡使得計算機在感知識別周圍環境的能力有了巨大的提升，使得計算機更加智能。卷積神經網絡擁有強大的特征提取能力，使得其在圖像分類識別，目標跟蹤等領域有著強大的運用。

1.1 國內外研究現狀

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導神經網絡輸出誤差進行訓練神經網絡。通過BP算法，神經網絡能夠從大量訓練數據中的學習到相關統計信息，學習到的數據統計信息能夠反映關于輸入-輸出數據模型的函數映射關系。

自2006年以來，Geoffery Hinton教授提出深度信念網絡。從此深度學習在學術界持續升溫。深度學習不僅改變著傳統的機器學習方法，也影響著我們對人類感知的理解，迄今已在語音識別和圖像理解等應用領域引起了突破性的變革。各種相關的算法和模型都取得了重要的突破，使得深度學習在圖像分類，語音識別，自然語言處理等領域有廣泛的運用。

2013年百度成立百度深度學習研究院以來我國的人工智能領域取得了長足的進步。在人工智能專家吳恩達的帶領下，百度陸續推出一系列人工智能產品，無人駕駛技術，DuerOS語音交互計算平臺，人臉識別技術，美樂醫等優秀產品。此外Imagenet圖像識別大賽中也誕生了一系列經典的神經網絡結構，VGG，Fast-R-CNN，SPP-net等等，可以說人工智能技術在近幾年得到了空前的發展。

2 深度學習概述

深度學習是機器學習的一個新方向，通過學習樣本數據內在規律和深層特征深度，深度學習神經網絡能夠像人一樣有分析和學的能力，尤其在文字處理，圖像識別，語音等領域更加突出。能夠自主學習一些新的東西。目前深度學習使用的典型技術是通過特征表達和分類器來進行目標識別等任務的。并在語音識別、圖像處理、機器翻譯等領域取得很多成果。

深度學習不同于以往的淺層學習，淺層學習模型值包含一個隱藏層，或者不存在隱藏層，深度學習則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實驗對輸入信息進行分級表達。目前深度學習框架主要包含三種深度學習框架，如圖1、2、3所示。

3 卷積神經網絡

卷積神經網絡的結構層次比傳統的神經網絡復雜，卷積神經網絡包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經元權值共享的規則，因此卷積神經網絡訓練參數的數量遠比傳統神經網絡少，卷積神經網絡在訓練和前向測試的復雜度大幅度降低，同時也減少了神經網絡訓練參數過擬合的幾率。卷積神經網絡主要有兩部分，分別是卷積核和下采樣核。卷積核主要對上一層的圖像進行卷積運算，提取圖像特征，下采樣核則是對上層的數據進行將為處理，減少神經網絡的復雜度。

卷積神經網絡中每一個神經元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統人類能理解的特征，也包括神經網絡自身能夠識別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無關。

圖4是經典的LeNet5卷積神經網絡架構，LeNet5架構中卷積核和下采樣核交替出現，下采樣核及時的將卷積核生成的特征向量進行降維，減少神經網絡的運算量。LeNet5算法在1962年幼Hubel等人提出，在識別手寫數字mnist中有極高的準確率。

4 R-CNN、Fast-R-CNN對比分析

卷積神經網絡在對圖像進行識別具有平移，旋轉，扭曲不變的優良特性，并且能夠實現高準確率識別圖像，但是在現實生活運用中往往需要神經網絡標記出目標的相對位置，這是傳統卷積神經網絡不具備的功能。因此在前人傳統卷積神經網路基礎上對卷積神經網絡進行改進，產生了具有對圖像中目標進行識別和定位的卷積神經網絡R-CNN，Fast-R-CNN等改良算法。

4.1 R-CNN

R-CNN為Region Convoluntional Neural Network的縮寫即對圖像進行局部區域的卷積處理，其核心思想主要是利用候選區圖像對物體探測中位置信息進行精確處理和利用監督式預訓練和區域特殊化的微調方法，代替了傳統的非監督式預訓練和監督式微調。

在CNN中，全連接層輸入是固定大小的，因此R-CNN用計算機視覺算法將每一張圖片分割成1000-2000張的候選區圖片后，要將這些候選區圖片進行變換，生成固定大小的候選圖片，在訓練提取特征時一般采用經過預訓練的模型參數進行finetuning，榱嗽黽友盜費本，模型在也將生成的候選框以及標定的標簽作為訓練樣本進行訓練。R-CNN采用SVMs分類器對特征向量進行分類，在訓練SVMs時將候選框經過卷積神經網絡提取的特征和SVM標定結果輸入到SVMs分類器訓練分類器模型。而在測試時將圖像全部候選框經過卷積神經網絡提取的特征輸入到SVMs分類器中，得到每一類的評分結果。但是R-CNN在處理一張圖片是要處理需要對一張圖片1000-2000個候選區圖像進行前向運算，保存所有后選取圖片的特征值，要求計算硬件有大量的存儲空間，同時處理每一張圖片的時間也會增加。由于訓練集龐大，本文采用hard negative mining method方法提高存儲的利用率。

R-CNN的體現出了極大的優勢，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計算的時間成本很大，達不到實時的計算效果，R-CNN在對候選區進行處理時會使得圖像失真，部分信息丟失。

4.2 Fast-R-CNN

Fast-R-CNN則是再次改進的一種基于卷積神經網絡目標跟蹤定位算法。相比于R-CNN，Fast-R-CNN從單輸入變為雙輸入，在全連接層后有了兩個輸出，引入了Rol層。

Fast-R-CNN在運行的時候同樣會生成大量的候選區，同時將原始的圖片用卷積神經網絡進行特征提取，將原始圖片提取的特征與生成的候選區坐標送入Rol層為每一個候選區生成一個固定大小的特征向量。最后將Rol生成的特征向量全連接層產生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計算K+1分類的損失，K為第K個目標，1為背景；Regression LOSS計算候選區的四個角的坐標。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計算候選區是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。

5 實驗測試

對于本文提出的卷積神經網絡識別圖像定位圖像目標算法R-CNN，Fast-R-CNN，在本章給出實驗結果。實驗平臺為基于Linux系統的debian8下運行caffe進行訓練，采用顯卡K620進行實驗。

訓練模型初始化參數在是服從高斯隨機分布，R-CNN采用的網絡結構如圖7所示，Fast-R-CNN的網絡結構如圖8所示。

本次實現的訓練樣本為錄制實驗室視頻數據，將視頻數據轉換成幀圖片，對每張圖片數據進行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進行旋轉，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬張樣本圖片，其中136.8萬張圖片作為訓練樣本，7.2萬張作為測試樣本。

6 總結

在目標識別定位領域，卷積神經網絡具有強大的圖像處理能力，對圖像的識別定位具有很高度平移，旋轉，扭曲不變形的優良性能。卷積神經網絡架構R-CNN和Fast-R-CNN都有強大的圖像處理能力。Fast-R-CNN在識別準確率上比R-CNN高。R-CNN算法復雜，對一張圖片需要進行1000-2000次的卷積運算，特征重復提取。因此在訓練和前向測試時，R-CNN用的時間長，不能很好的適用于處理實時圖片數據，尤其視頻數據。R-CNN在對每個候選區進行特征提取之后需要將提取的特征向量存入內存，降低訓練測試時間的同時也需要耗費大量內存。因此從各方面分析可知，Fast-R-CNN性能優于R-CNN。

參考文獻

[1]謝寶劍.基于卷積神經網絡圖像分類方法研究[D].合肥工業大學，2015.

[2]鄭胤，陳權崎，章毓晉.深度學習及其在目標和行為識別中的新進展[J].中國圖象圖形學報，2014（02）：175-184.

[3]陳先昌.基于卷積神經網絡的深度學習算法與運用研究[D].杭州：浙江工商大學，2006（04）：603-617.

[4]李彥冬，郝宗波，雷航等.卷積神經網絡研究綜述[J].計算機應用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

第2篇

（①昆明理工大學國土資源與工程學院，昆明 650093；②黃河勘測規劃設計有限公司，鄭州 450003）

（①Faculty of Land Resource Engineering，Kunming University of science and Technology，Kunming 650093，China；

②The Yellow River Survey Planning and Design Co.，Ltd.，Zhengzhou 450003，China）

摘要： 隨著神經網絡理論的深入研究，神經網絡已在圖像的分類中起到非常重要的地位。本文章使用IDL語言來實現神經網絡在權值調整過程算法優化，并在ENVI上集成，已達到神經網絡分類速度快，且精度可靠的目的。

Abstract： With the deep research in the theory of neural network, neural network has played a very important role in the classification of the image. This article uses the IDL language to implement the algorithm to optimize the weights of neural network to the adjustment process, and on the ENVI integration, has reached the neural network classification speed, precision and reliable.

關鍵詞 ： 神經網絡；圖像分類；ENVI；IDL；集成；精度

Key words： neural network；image classification；ENVI；IDL；integration；precision

中圖分類號：P237 文獻標識碼：A

文章編號：1006-4311（2015）06-0234-02

0 引言

ENVI是一套功能強大的遙感圖像處理軟件，在ENVI上進行遙感圖像分類中有很多方法，如神經網絡、最大似然、最小距離、 ISODATA算法、決策樹和面向對象等分類方法，神經網絡在分類時比其它分類所花費時間要長，且速度很慢，因為從算法機理可知神經網絡在權值調整時是迭代收斂的過程，其分類過程自然很慢。針對此問題，決定使用IDL語言來編程優化算法。

1 IDL的語言環境

IDL（Interactive Data Language）是美國RSI公司推出的面向矩陣的第四代計算機語言，它語法簡單，自帶大量的功能函數，使用很少的代碼就能實現其它語言很難實現的功能。IDL是進行數據分析、可視化及跨平臺應用開發的最佳選擇，利用IDL可以快速地進行科學數據讀寫、圖像處理、集成數學統計、信號分析、數值計算和三維圖像建模等。IDL集可視、交互分析、大型商業開發為一體，為您提供了最完善、最靈活最有效的開發環境。

IDL的開發應用已經深入到了人類日常生活的方方面面，給人類對未知領域的探索與發現提供了強有力的工具，推動了人類向前發展。對IDL的語言環境熟悉之后，緊接著就開始針對目前存在的基于神經網絡的遙感圖像分類問題進行改進，并結合ENVI軟件，使用IDL語言設計出改進后的優化算法。

2 ENVI中基于神經網絡分類的剖析

ENVI中采用的神經網絡屬于BP網絡，含有輸入層、輸出層以及處于輸入輸出層之間的隱含層，如果進行非線性分類，輸入的區域并非線性分類或需要兩個超平面才能區分類別時候，隱層數設置為大于或等于一。隱含層的狀態影響輸入與輸出之間的關系，改變隱含層的權系數，可以改變整個多層神經網絡的性能。

ENVI中采用的BP神經網絡通過誤差函數的最小化過程來完成輸入到輸出的映射。為了完成最小化過程，這種BP反向傳播算法分正向傳播和反向傳播兩步進行。在正向傳播中，輸入的樣本從輸入層經過隱單元一層一層進行處理，通過所有的隱含層之后，則傳向輸出層；在逐層處理的過程中，每一層神經元的狀態只對下一層神經元的狀態產生影響；在輸出層把現行輸出和期望輸出進行比較,如果現行輸出不等于期望輸出，則進入反向傳播過程。在反向傳播過程中，反向傳播把誤差信號按原來正向傳播的通路反向傳回，反復修改（這是個迭代的過程）各節點的權重和閾值，逐漸減小誤差，直到達到預先設定的要求。當誤差小于某一相當小的正數或迭代誤差不再減少時，完成BP網絡的訓練、輸入與輸出的映射的確定。

我們的落腳點是在BP網絡的反向傳播過程中網絡各節點權值的迭代調整，但是該網絡在此方面存在缺陷，就是迭代時間長，尤其對處理大數據，需要花費很長時間才能達到收斂。針對BP網絡中學習算法收斂速度慢的缺點，運用數學中埃特金加速收斂算法，對傳統的BP算法進行改進，然后使用IDL語言進行匯編，最后在ENVI上進行功能的擴展，已達到適用的生產目的。

3 編寫迭代函數

為了能在ENVI菜單上調用埃特金迭代收斂函數，需要在ENVI菜單中創建一個新的菜單項，并定義一個此用戶函數。這個用戶函數可以通過在ENVI菜單中選擇這個新的菜單項來進行調用。具體工程如下：

①在現有的ENVI菜單基礎上創建新的功能菜單，首先用文本編輯器打開envi.men文件，添加如下部分：

PRO MY_PROCESS_DEFINE_BUTTONS, buttonInfo

COMPILE_OPT IDL2

ENVI_DEFINE_MENU_BUTTON, buttonInfo, VALUE = ‘New Function’, $

/MENU, REF_VALUE = ‘Supervised’, REF_INDEX = 0, $

POSITION = ‘last’

ENVI_DEFINE_MENU_BUTTON, buttonInfo, VALUE = ‘Function1’, $

UVALUE = ‘Function 1’, EVENT_PRO = ‘my_process_event’, $

REF_VALUE = ‘New Function’

END

如果ENVI已經打開，需要關閉并重新啟動ENVI,然后在ENVI主菜單上，會看到Classification菜單下的Supervised的子菜單內增加了新的菜單“New Function”。

②編寫迭代函數。在運行ENVI的IDL開發環境中，迭代功能函數的部分代碼如下：

ENVI_NEURAL_NET_DOIT

FUNCTION bm_func,X,[X0，X1……Xn]

nx=Xn,

t = FINDGEN(nx-X)

… … … … …

4 實驗過程與精度評定

本實驗主要運用ENVI4.8版本圖像處理軟件進行圖像分類，使用的數據是網上下載的經過數據預處理后的Landsat5 TM研究區影像。調用迭代函數開始進行基于神經網絡的遙感圖像分類，其分類時間所反映的進度條如圖1所示，以及最終的迭代均方根訓練函數如圖2所示。

在神經網絡分類結束后，所花費時間很短，分類速度很快，具體的分類結果圖如圖3所示。對調用迭代函數的神經網絡分類結果進行精度分析，使用混淆矩陣，具體報表如圖4所示。從混淆矩陣報表可知，總體分類精度為94.2374%，其Kappa系數為0.9272，分類效果很好，精度很高，滿足要求。

5 結束語

ENVI上調用迭代函數的神經網絡總體上比原來的神經網絡分類要優越，其鮮明的特色就是分類速度快，精度也高。這大大提速原有的神經網絡分類速度，尤其在處理大數據優越明顯。但是ENVI上仍存在神經網絡分類單一化現象，怎樣使其減少人為的干預，使其更智能化是今后的研究趨勢。

參考文獻：

[1]董彥卿.IDL程序設計—數據可視化與ENVI二次開發[M].北京：高等教育出版社，2012.

第3篇

關鍵詞:模糊神經網絡;擴展卡爾曼濾波;自組織學習

模糊神經網絡起源于20世紀80年代后期的日本,由于其簡單、實用,已經被廣泛應用在工業控制、系統辨識、模式識別、數據挖掘等許多領域[1~4]。然而,如何從可用的數據集和專家知識中獲取合適的規則數仍然是一個尚未解決的問題。為了獲取模糊規則,研究人員提出了不同的算法,如文獻[5]利用正交最小二乘算法確定徑向基函數的中心,但是該算法訓練速度比較慢;文獻[6]提出了基于徑向基函數的自適應模糊系統,其算法使用了分層自組織學習策略,但是逼近精度低。擴展卡爾曼濾波(EKF)算法作為一種非線性更新算法,在神經網絡中得到了廣泛應用。文獻[7]利用擴展卡爾曼濾波算法調整多層感知器的權值,文獻[8]利用擴展卡爾曼濾波算法調整徑向基函數網絡的權值。

本文提出了一種模糊神經網絡的快速自組織學習算法(SFNN)。該算法基于無須修剪過程的生長準則增加模糊規則,加速了網絡學習過程,同時使用EKF調整網絡的參數。在該算法中,模糊神經網絡結構不是預先設定的,而是在學習過程中動態變化的,即在學習開始前沒有一條模糊規則,在學習過程中逐漸增加模糊規則。與傳統的模糊神經網絡學習算法相比,本算法所得到的模糊規則數并不會隨著輸入變量的增加而呈指數增長,特別是本算法無須領域的專家知識就可以實現對系統的自動建模及抽取模糊規則。當然,如果設計者是領域專家,其知識也可以直接用于系統設計。本算法所得到的模糊神經網絡具有結構小、避免出現過擬合現象等特點。

1SFNN的結構

本文采用與文獻[9]相似的網絡結構,如圖1所示。其中,r是輸入變量個數;xi(i=1,2,…,r)是輸入語言變量;y是系統的輸出;MFij是第i個輸入變量的第j個隸屬函數;Rj表示第j條模糊規則;wj是第j條規則的結果參數;u是系統總的規則數。

下面是對該網絡各層含義的詳細描述。

第一層:輸入層。每個節點代表一個輸入語言變量。

第二層:隸屬函數層。每個節點代表一個隸屬函數,隸屬函數采用如下的高斯函數:

μij=exp(-(xi-cij)2σ2ij);i=1,2,…,r;j=1,2,…,u(1)

其中:r是輸入變量數;u是隸屬函數個數,也代表系統的總規則數;μij是xi的第j個高斯隸屬函數;cij是xi的第j個高斯隸屬函數的中心;σij是xi的第j個高斯隸屬函數的寬度。

第三層:T-范數層。每個節點代表一個可能的模糊規則的IF-部分,也代表一個RBF單元,該層節點個數反映了模糊規則數。如果計算每個規則觸發權的T-范數算子是乘法,則在第三層中第j條規則Rj的輸出為

φj=exp(-ri=1(xi-cij)2σ2ij);j=1,2,…,u(2)

第四層:輸出層。該層每個節點代表一個輸出變量,該輸出是所有輸入變量的疊加。

y(X)=uj=1wjφj(3)

其中:y是網絡的輸出;wj是Then-部分。

2SFNN的學習算法

如前文所述,第三層的每個節點代表一個可能的模糊規則的IF-部分或者一個RBF單元。如果需要辨識系統的模糊規則數,則不能預先選擇模糊神經網絡的結構。于是,本文提出一種新的學習算法,該算法可以自動確定系統的模糊規則并能達到系統的特定性能。

2.1模糊規則的產生準則

在模糊神經網絡中,如果模糊規則數太多,不僅增加系統的復雜性,而且增加計算負擔和降低網絡的泛化能力;如果規則數太少,系統將不能完全包含輸入/輸出狀態空間,將降低網絡的性能。是否加入新的模糊規則取決于系統誤差、可容納邊界和誤差下降率三個重要因素。

2.1.1系統誤差

誤差判據:對于第i個觀測數據(xi,ti),其中xi是輸入向量,ti是期望輸出,由式(3)計算網絡現有結構的全部輸出yi。

定義:ei=ti-yi;i=1,2,…,n(4)

如果ei>keke=max(5)

則說明網絡現有結構的性能比較差,要考慮增加一條新的規則;否則,不生成新規則。其中:ke是根據網絡期望的精度預先選擇的值;emax是預定義的最大誤差;emin是期望的輸出精度;β(0<β<1)是收斂因子。

2.1.2可容納邊界

從某種意義上來講,模糊神經網絡結構的學習是對輸入空間的高效劃分。模糊神經網絡的性能和結構與輸入隸屬函數緊密相關。本文使用的是高斯隸屬函數,高斯函數輸出隨著與中心距離的增加而單調遞減。當輸入變量采用高斯隸屬函數時,則認為整個輸入空間由一系列高斯隸屬函數所劃分。如果某個新樣本位于某個已存在的高斯隸屬函數覆蓋范圍內,則該新樣本可以用已存在的高斯隸屬函數表示,不需要網絡生成新的高斯單元。

可容納邊界:對于第i個觀測數據(xi,ti),計算第i個輸入值xi與已有RBF單元的中心cj之間的距離di(j),即

di(j)=xi-cj;i=1,2,…,n;j=1,2,…,u(6)

其中:u是現有的模糊規則或RBF單元的數量。令

di,min=argmin(di(j))(7)

如果di,min>kd,kd=max[dmax×γi,dmin](8)

則說明已存在的輸入隸屬函數不能有效地劃分輸入空間。因此,需要增加一條新的模糊規則,否則,觀測數據可以由已存在的距離它最近的RBF單元表示。其中:kd是可容納邊界的有效半徑;dmax是輸入空間的最大長度;dmin是所關心的最小長度;γ(0<γ<1)是衰減因子論文。

2.1.3誤差下降率

傳統的學習算法把誤差減少率(ERR)[5]用于網絡生長后的修剪過程,算法會因為修剪過程而增加計算負擔,降低學習速度。本文把誤差減少率用于生長過程形成一種新的生長準則,算法無須經過修剪過程,從而加速網絡的學習過程。

給定n個輸入/輸出數據對(xi,ti),t=1,2,…,n,把式(3)看做線性回歸模型的一種特殊情況,該線性回歸模型為

t(i)=uj=1hj(i)θj+ε(i)(9)

式(9)可簡寫為

D=H+E(10)

D=TT∈Rn是期望輸出,H=φT∈Rn×u是回歸量,=WT∈Ru是權值向量,并且假設E∈Rn是與回歸量不相關的誤差向量。

對于矩陣φ,如果它的行數大于列數,通過QR分解:

H=PQ(11)

可把H變換成一組正交基向量集P=[p1,p2,…,pu]∈Rn×u,其維數與H的維數相同,各列向量構成正交基,Q∈Ru×u是一個上三角矩陣。通過這一變換,有可能從每一基向量計算每一個分量對期望輸出能量的貢獻。把式(11)代入式(10)可得

D=PQ+E=PG+E(12)

G的線性最小二乘解為G=(PTP)-1PTD,或

gk=pTkDpTkpk;k=1,2,…,u(13)

Q和滿足下面的方程:

Q=G(14)

當k≠l時,pk和pl正交,D的平方和由式(15)給出:

DTD=uk=1g2kpTkpk+ETE(15)

去掉均值后,D的方差由式(16)給出:

n-1DTD=n-1uk=1g2kpTkpk+n-1ETE(16)

由式(16)可以看到,n-1uk=1g2kpTkpk是由回歸量pk所造成的期望輸出方差的一部分。因此,pk的誤差下降率可以定義如下:

errk=g2kpTkpkDTD,1≤k≤u(17)

把式(13)代入式(17)可得

errk=(pTkD)2pTkpkDTD,1≤k≤u(18)

式(18)為尋找重要回歸量子集提供了一種簡單而有效的方法,其意義在于errk揭示了pk和D的相似性。errk值越大,表示pk和D的相似度越大,且pk對于輸出影響越顯著。利用ERR定義泛化因子(GF),GF可以檢驗算法的泛化能力,并進一步簡化和加速學習過程。定義:

GF=uk=1errk(19)

如果GF

2.2參數調整

需要注意的是,不管是新生成的隱節點還是已存在的隱節點,都需要對網絡參數進行調整。傳統的方法是使用LLS[10]方法對網絡參數進行調整,本文提出使用EKF方法調節網絡的參數。由于LLS方法在確定最優參數時計算簡單、速度快,但該方法對噪聲敏感,其學習速度隨著信噪比的增加而下降。另外,與LLS方法相關的問題是其求解可能是病態的,這使得參數估計變得很困難。EKF方法由于其自適應過程比較復雜,計算速度沒有LLS方法快,但是EKF方法在噪聲環境下具有魯棒性,使用EKF方法可以實現一種健壯的在線學習算法。網絡參數可以用下面的EKF[11]方法進行調整。事實上,網絡的參數向量θ可以看做一個非線性系統的狀態,并用下面的方程描述:

θi=θi-1

ti=h(θi-1,Xi)+ei(20)

在當前的估計值i-1處將非線性函數h(θi-1,Xi)展開,則狀態模型可以重寫為

θi=θi-1

ti=Hiθi-1+εi+ei(21)

其中:εi=h(i-1,Xi)-Hii-1+ρi。Hi是如下的梯度向量:

Hi=h(θ,Xi)θ|θ=i-1(22)

參數向量θ使用下面的擴展卡爾曼濾波算法更新:

Ki=Pi-1HTi[HiPi-1HTi+Ri]-1

θi=θi-1+Ki(ti-h(θi-1,Xi))

Pi=Pi-1-KiHiPi-1+Qi(23)

其中:Ki是卡爾曼增益矩陣;Pi是逼近誤差方差陣;Ri是量測噪聲方差陣;Qi是過程噪聲方差陣。

全局擴展卡爾曼濾波算法會涉及大型矩陣運算,增加計算負擔,因此可以將全局問題劃分為一系列子問題從而簡化全局方法。網絡的前件部分具有非線性特性,利用擴展卡爾曼濾波算法對其進行調整;網絡的后件部分具有線性特性,利用卡爾曼濾波算法對其進行調整,該方法等同于將全局方法簡化為一系列解耦方法,可以降低計算負擔。由于高斯函數的中心對系統的性能影響不明顯,為了簡化計算,只對高斯隸屬函數的寬度進行調整。

前件參數使用如下的擴展卡爾曼濾波算法更新:

Kδi=Pδi-1GTi[Ri+GiPδi-1GTi]-1

δi=δi-1+Kδi(Ti-wi-1φi)

Pδi=Pδi-1-KδiGiPδi-1+Qi(24)

后件參數使用如下的卡爾曼濾波算法更新:

Kwi=Pwi-1φTi[Ri+φiPwi-1φTi]-1

wi=wi-1+Kwi(Ti-wi-1φi)

Pwi=Pwi-1-KwiφiPwi-1+Qi(25)

2.3模糊規則的增加過程

在SFNN學習算法中,模糊規則增加過程如下:

a)初始參數分配。當得到第一個觀測數據(X1,t1)時,此時的網絡還沒有建立起來,因此這個數據將被選為第一條模糊規則:c0=X0,δ1=δ0,w1=t1。其中δ0是預先設定的常數。

b)生長過程。當得到第i個觀測數據(Xi,ti)時,假設在第三層中已存在u個隱含神經元,根據式(4)(7)和(19),分別計算ei、di,min、GF。如果

ei>ke,di,min>kd,且GF

則增加一個新的隱含神經元。其中ke、kd分別在式(5)和(8)中給出。新增加的隱含神經元的中心、寬度和權值賦值為:Cu+1=Xi,δu+1=k0di,min,wu+1=ei,其中k0(k0>1)是重疊因子。

c)參數調整。當增加新神經元后,所有已有神經元的參數通過式(24)(25)描述的算法調整。

3仿真研究

時間序列預測在解決許多實際問題中是非常重要的。它在經濟預測、信號處理等很多領域都得到了廣泛應用。

本文采用的時間序列由Mackey-Glass差分延遲方程產生,其方程定義為[5]

x(t+1)=(1-a)x(t)+bx(t-τ)1+x10(t-τ)(27)

為了能夠與文獻[5,6]在相同的基礎上進行比較,取值Δt=P=6,式(27)中的參數選擇為:a=0.1,b=0.2,τ=17。預測模型表示為x(t+6)=f[x(t),x(t-6),x(t-12),x(t-18)](28)

為了獲得時間序列,利用式(27)生成2000個數據,式(27)的初始條件為:x(0)=1.2。為了訓練和測試,在t=124和t=1123之間選擇1000個樣本作為式(28)的輸入/輸出樣本數據。使用前500個數據對作為訓練數據集,后面的500個數據對驗證該模型的預測性能。圖2顯示了SFNN生成的模糊規則數;圖3顯示了從t=124到t=623的訓練結果;圖4顯示了SFNN良好的預測性能。表1列出了SFNN與其他算法的比較結果。表1顯示,與OLS、RBF-AFS算法相比,SFNN具有最少的規則數、最小的誤差和良好的泛化能力,同時具有快速的學習速度。SFNN的快速性就在于:采用無須修剪過程的生長準則,加速了網絡學習過程;利用擴展卡爾曼濾波調整網絡的參數,可以縮短網絡的學習周期。從上面的分析可以看出,SFNN具有緊湊的結構、快速的學習速度、良好的逼近精度和泛化能力。

4結束語

SFNN采用在線學習方法、參數估計和結構辨識同時進行,提高了網絡的學習速度。基于該方法生成的模糊神經網絡具有緊湊的結構,網絡結構不會持續增長,避免了過擬合及過訓練現象,確保了系統的泛化能力。

參考文獻:

[1]

HUANGHuan,WUCong-xin.Approximationcapabilitiesofmultilayerfuzzyneuralnetworksonthesetoffuzzy-valuedfunctions[J].InformationSciences,2009,179(16):2762-2773.

[2]DENGXing-sheng,WANGXin-zhou.Incrementallearningofdynamicfuzzyneuralnetworksforaccuratesystemmodeling[J].FuzzySetsandSystems,2009,160(7):972-987.

[3]韋玉科,汪仁煌,李江平,等.一種新的數據智能化處理算法[J].計算機應用研究,2008,25(5):1328-1329.

[4]CHENSheng,HONGXia,LUKBL,etal.Orthogonal-least-squaresregression:aunifiedapproachfordatamodeling[J].Neurocompu-ting,2009,72(10-12):2670-2681.

[5]CHENS,COWANCFN,GRANTPM.Orthogonalleastsquareslearningalgorithmforradialbasisfunctionnetworks[J].IEEETransonNeuralNetworks,1991,2(2):302-309.

[6]CHOKB,WANGBH.Radialbasisfunctionbasedadaptivefuzzysystemsandtheirapplicationstosystemidentificationandprediction[J].FuzzySetsandSystems,1996,83(3):325-339.

[7]RIVALSI,PERSONNAZL.ArecursivealgorithmbasedontheextendedKalmanfilterforthetrainingoffeedforwardneuralmodels[J].Neurocomputing,1998,20(1):279-294.

[8]SIMOND.TrainingradialbasisneuralnetworkswiththeextendedKalmanfilter[J].Neurocomputing,2002,48(1):455-475.

[9]WUShi-qian,ERMJ,GAOYang.Afastapproachforautomaticgenerationoffuzzyrulesbygeneralizeddynamicfuzzyneuralnetworks[J].IEEETransonFuzzySystems,2001,9(4):578-594.

第4篇

【關鍵詞】計算機網絡連接 增強優化 神經網絡算法

計算機網絡是一種先進的科技技術，自出現以來就極大程度的改變了人們的生活生產方式，帶來了非常大的便利。我國現階段的計算機網絡連接相對比較薄弱，存在很多不完善的地方。因此，有必要采取措施優化計算機網絡連接，進而維護計算機網絡連接的安全穩定，營造良好的上網環境。

1 計算機網絡連接增強優化

1.1 計算機網絡連接增強優化的必要性

網絡連接對于計算機網絡的重要性不言而喻。如果出現網絡連接斷開的問題，就會導致計算機設備無法與通信網絡進行有效的信息溝通。因此，必須優化計算機網絡連接，拓撲擴展計算機網絡，提升信息交流的有序性和有效性，降低影響所帶來的損失。因此，在現有的網絡環境中，加入合適的結點，進而完善計算機網絡連接的有效率，以及提高網絡容量，拓展現有網絡結構，使得信息交流的交互性進一步增強，最終實現計算機網絡連接的優化目的，拓撲擴展了計算機網絡。現階段，存在非常多的措施能夠提升計算機網絡連接的效率，擴展網絡容量，以及上網環境的優化。但是，很多方法措施需要投入大量的資金作為支持，不具有實用性和經濟性。而計算機網絡應用要求計算機網絡連接優化措施適當合理，在最小的經濟支出情況下解決問題，因此，只有采取增強優化下的神經網絡算法。

1.2 計算機網絡拓撲結構

計算機網絡拓撲結構主要是指，網上計算機或設備與傳輸媒介形成的結點與線的物理構成模式。通信子網直接影響計算機網絡拓撲結構的形式，拓撲結構能夠在一定程度上保證網絡信息數據系統的安全性、可靠性、完整性，此外能夠對數據信息進行共享、處理以及交換等內容。根據網絡拓撲結構框架分析，可以清楚的明確計算機網絡結構是由鏈路和節點所組成，也可以這樣理解，計算機網絡拓撲是由計算機組成的，網絡之間設備的分布情況以及連接狀態所形成的拓樸圖。通常情況下計算機網絡用G= 來表示，V指的是網絡結點集，E指的是鏈路集。如果增加結構中的結點集用Va表示，增加的連接集用Eb表示，進而得出計算機網絡結構為G’=。

2 基于計算機網絡連接優化中的神經網絡算法

2.1 神經網絡算法

思維學普遍認為，人類大腦的思維分為抽象思維、形象思維和靈感思維三種基本方式。而抽象思維是一種邏輯化思想，形象思維是一種直觀化思想，靈感思維是一種頓悟性和創造性思想。而神經網絡思維，就是通過對上述理論的分析實踐，模擬人類大腦思維的第二種方式。人工神經網絡，是一個非線性動力學系統，其特色在于信息的分布式存儲和并行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網絡系統所能實現的行為卻是極其豐富多彩的。 相對人工神經網絡來說，人工神經網絡應用系統更加高級，通過對網絡算法以及網絡模型的合理運用，合理處理信號，或者識別某種運行模式，最終形成一套獨立完善的專家系統，或者智能化的機器人。

現階段，社會中越來越多的領域開始應用人工神經網絡，在生產領域上取得了明顯效果。人們也越發提高對人工神經網絡算法的重視程度，神經網絡算法是在此基礎上逐漸發展完善的，是監督性的學習算法。但是在實際應用過程中，人工神經網絡算法還存在一些不足之處，沒有合理解決收斂速度緩慢的問題，無法控制收斂程度到最小點，因此增加了計算機網絡記憶和學習的不穩定性，同時計算機網絡連接效果也受此影響。

2.2 均場神經網路算法

通過建立科學合理的場均神經網絡模型，有利于進行計算機網絡連接增強優化中的均場神經網絡算法研究工作，進而評判網絡效果。需要注意的是，利用函數法構建模型時，應當加強目標函數的構建問題工作，可以用以下方式表現構建模型：Hopfield計算網絡中的神經元狀態，可以用Fi進行表示，如果Fi=1，那么表示網絡選中了連接i，能夠正常連接；如果Fi=0，那么表示網絡沒有選中連接i，不能正常連接。之后可以利用罰函數法結構，創建網絡模型，保證Z=max（ΣPi*Xi） 和 ΣMi*Xi ≤ A成立，需要對目標函數進行控制，主要有I = ?γ/2*[∑ρiFi]2+ψ/2*[a ?∑mifi]2，其中a=（γripi-ψmimi）d，Ii=βami，γ和ψ表示Lagrange 參數，構造Lyapunov能量函數為：E = ?1/2*∑∑AiFiFi ? ∑ IiFi，Hopfield神經網絡結構為：Fi=1/2*[1+tanh（Bi/T）]，Bi=∑AiFi + I。利用均退火技術，將隨機變量函數的均值由隨機變量均值的函數替代，可以得出：〈Fi〉=1/2*[1+tanh{}]，〈Bi〉=〈∑AiFi + Ii〉=∑Ai Fi + Ii。如果隨機變量均值〈Fi〉由均場變量Ri替換，可以得出均場網絡結構：Ri=1/2[1+tanh（∑AiRi+Ii/T）]，均場網絡的能量函數為：E（v）= ?1/2∑∑AiRiRi ? ∑ IiRi。通過對算法步驟的簡單分析，可以看出：第一、根據問題設置參數；第二、初始化，Ri=rand（d，1-d），i可以是大于零的整數；第三、重復以上操作，知道滿足停止規則。

3 總結

總而言之，計算機網絡在社會各個領域中，都在發揮的無可替代的作用。如果計算機網絡連接出現問題，將會嚴重影響相關企業或者設備的正常運轉，進而降低經濟效益。因此，必須提高計算機網絡連接的重視程度，進一步完善優化連接效率，維護網絡連接的穩定性和可靠性，為我國計算機事業的未來發展奠定堅實的基礎。

參考文獻

[1]陳竺.計算機網絡連接增強優化中的神經網絡算法[J].電子技術與軟件工程，2014（19）：16-16.

[2]王穎華，金愛花.計算機網絡連接增強優化中的均場神經網絡算法[J].硅谷，2013（15）：61-62.

[3]李盼池，許少華.基于過程神經網絡和遺傳算法的系統逆向過程求解[J].計算機測量與控制，2015（10）：948-950.

第5篇

1什么是CBIR

傳統的基于文本的圖像檢索（Text-Based Image Retrieval，TBIR）技術是先通過人工方式對圖像進行文字標注，再用關鍵字來檢索圖像，這種方式耗時并且主觀，無法滿足大規模圖像數據的檢索需要。基于內容的圖像檢索（Content-Based Image Retrieval，CBIR）技術是根據圖像對象的內容及上下文聯系在大規模多媒體數據庫中進行檢索。

2神經網絡的特點

神經網絡是在現代神經學的研究基礎上發展起來的一種模仿人腦信息處理機制的網絡系統，它具有自組織、自學習和極強的非線性處理能力，能夠完成學習、記憶、識別和推理等功能，它已在控制、模式識別、圖像和視頻信號處理、人工智能、自造應濾波等方面獲得了應用。醫學上，神經網絡這一智能的診斷方法，能夠排除各種人為因素，得到準確客觀的診斷結果，對醫學圖像數據若用傳統的線性處理模式通常不太好處理， BP神經網絡是眾多神經網絡中應用最廣泛的一種多層前饋神經網絡，圖1所示為三層BP神經網絡。

3蟻群算法

蟻群算法[6]（Ant Colony Optimization，ACO）是由意大利學者Dorigo等人于20世紀90年代初期通過模擬自然界中螞蟻集體尋徑的行為而提出的一種基于種群的啟發式隨機搜索算法。蟻群算法作為一種新型的智能仿生模型，近幾年在圖像分割、圖像特征提取、圖像匹配、影像紋理分類、圖像檢索等領域都取得了研究成果[8]。

4神經網絡算法和蟻群算法在醫學圖像檢索中的應用

CBIR檢索過程是一個逐步求精的過程，其在醫學上的應用可以看成是用戶（放射學者、醫師等）和醫學圖像數據庫之間的一個交互過程。其基本原理是：對醫學圖像數據庫中的每幅圖像先進行特征分析，提取圖像的特征；建立醫學圖像數據庫的同時，建立與圖像庫相關聯的特征庫；在進行圖像檢索時，對給定的查詢例圖，先提取特征向量，再將該特征向量與特征庫中的特征向量進行匹配，根據匹配的結果在醫學圖像數據庫中搜索，即可檢索出所需的圖像。本文結合神經網絡算法結合蟻群算法，將其應用于醫學圖像檢索，見圖2。

4.1醫學圖像預處理 在醫學方面，圖像預處理的主要目的是消除圖像中無關的信息、增強有關信息的可檢測性并最大限度地簡化數據，從而提高醫務人員對圖像判讀的準確性及效率。本課題中圖像預處理方法由圖像增強、圖像分割組成。

4.1.1圖像增強 圖像增強[2]是進行圖像檢索的先行步驟，可以用公式 來表示，其中 是輸入圖像， 是增強后的圖像， 是對輸入圖像所進行的操作。本文主要采用直方圖均衡化方法來進行圖像增強，直方圖均衡化是將一已知灰度概率密度分布的圖像，經過某種變換變成一幅具有均勻灰度概率密度分布的新圖像。與其他方法相比，直方圖均衡化方法適用范圍廣，易于實現，可達到較好的增強效果，暗區中的圖像能清楚的顯示出來，能夠展示更多診斷信息。

4.1.2圖像分割 醫學圖像分割是根據醫學圖像的某種相似性特征將圖像劃分為若干個互不相交的"連通"區域的過程。醫學圖像中，大多數情況下都需要對醫學圖像作分割，來突出需要的目標物體，如病灶。采用sobel算子計算醫學圖像邊緣和閾值，在此基礎上修改閾值使邊緣更加精確，以此實現圖像分割。

4.2神經網絡算法（如圖3所示）的實現。

基本步驟如下：①確定問題：對問題做出詳細的調研，明確目標，然后考慮如何引入粗糙集從而更好地解決問題。②對數據進行收集，即采集經過圖像預處理之后得到的特征數據。③數據處理：把要處理的數據建立成一張二維決策表，每一行描述一個對象，每一列描述對象的一種屬性。在本步中，如果無法得到完備的數據表，就有必要將信息表進行完備化操作；如果初始數據是連續值，還要經過連續屬性離散化操作。④根據粗糙集理論[5]對數據進行屬性約簡，利用屬性重要度去掉數據表中的冗余條件屬性，并消去重復的樣本。⑤根據上步中得到的訓練數據樣本設計BP神經網絡，根據約簡結果確定神經網絡的輸入層單元數和隱含層節點數。采用一個 的3層BP神經網絡。隱藏層神經元的傳遞函數設計為S型正切函數，輸出層神經元的傳遞函數設計為S型對數函數。⑥用約簡后形成的學習樣本對神經網絡進行學習，得到神經網絡的權值。然后將測試樣本輸入網絡進行測試，輸出最終結果。本算法中，規定BP神經網絡的訓練指標為0.01，訓練次數C<5000次。

4.3蟻群算法的實現（如圖4所示）。

目前，CBIR方面現已有了大量研究，但CBIR的系統很少用于臨床，如遵義醫學院附屬醫院在進行醫學圖像檢索時，更常用的方式還是傳統的基于文本的圖像檢索方式，其最大的原因是CBIR方式檢索速度慢，響應時間長。為此，如何保證醫學圖像數據檢索的有效性和準確性是目前CBIR迫切需要解決的問題之一。本文將BP神經網絡和蟻群算法結合起來，借助蟻群算法易于與其他算法相結合的優勢，利用蟻群算法對粗神經網絡算法的參數進行優化的同時，結合醫學圖像的特殊性，提出將神經網絡算法和蟻群算法結合起來應用于CBIR中具有一定的現實意義。

參考文獻：

[1]蔣歷軍.應用網格和水印技術對基于內容的肝臟CT圖像檢索的研究[D].上海交通大學，2009.

[2]岡薩雷斯.數字圖像處理（MATLAB版）[M].北京：電子工業出版社，2012.

[3]史元春，徐光祐，高原.中國多媒體技術研究：2011[J].中國圖象圖形學報，2012.

[4]H Zhang， JE Fritts， SA Goldman.Image segmentation evaluation： A survey of unsupervised methods[J].Computer Vision and Image Understanding， 2008.

[5]蔣世忠，易法令，湯浪平，等.基于圖割與粗糙集的MRI腦部腫瘤圖像檢索方法[J].中國組織工程研究與臨床康復，2010.

[6]張小冬.蟻群算法在醫學圖像識別中的研究與應用[D].揚州大學，2009.

[7]李旭超，劉海寬，王飛，等.圖像分割中的模糊聚類方法[J].中國圖象圖形學報，2012.

[8]Veenman C，Reinders M，Backer E.A Cellular Coevolutionary Algorithm for Image Segmentation [J].IEEE Transaction on Image Processing， 2003.

第6篇

關鍵詞：自主角色; 神經網絡; 遺傳算法

中圖分類號： TP183

文獻標識碼：A

0引言

隨著計算機圖形學和硬件技術的高速發展，計算機游戲近十幾年也取得了很大的發展，游戲軟件已成為軟件產業中非常重要的內容。游戲的類型主要包括FPS（第一人稱射擊）、RPG（角色扮演類型）和RTS（即時戰略游戲）等幾種類型，這些不同類型的游戲都要求游戲控制的角色（NPC）與玩家控制的角色（PLAYER）要有行為的交互，交互的方式直接影響玩家對游戲的興趣度。因此，對NPC與PLAYER之間的角色交互行為方式的研究已經成為游戲軟件中的一個非常重要的研究課題。

目前大多數游戲中的角色行為的交互方式采用的是確定型的交互行為，其特征主要表現在角色的行為都是預先確定的，這種類型的行為實現起來較為簡單，也是目前大多數游戲所采用的交互方式。像這種確定性的行為往往體現不出角色的自主性，而且還會導致角色行動單調乏味，其行動很容易被玩家所預測,降低游戲的可玩性。為此,我們需要在游戲軟件中設計和實現這樣的NPC角色，它能夠根據當前環境的變化以及以往的經驗知識來動態地改變對PLAYER的行為。具有這種能力的角色，我們稱之為自主角色,也稱為自適應角色。具有自主和自適應特點的角色可具有推理能力和自適應能力,在游戲環境下可更受玩家的歡迎。

一款擁有自主角色的游戲能夠牢牢地吸引玩家的注意力，從而延長這款游戲的生命周期，因此促使游戲開發人員花更多的時間來研究自主角色的實現。一些公司已經開始嘗試從人工智能領域發展出更加高級的技術，如采用決策樹或者強化學習來實現角色的自主性，也有的像著名的游戲Colin McRae Rally2則采用了學習系統和神經網絡來實現角色的自主性。

有關自主角色行為的論文已經有很多做出了卓有成效的成績，如在Reynolds的文獻［1］中，對自主角色的群體行為進行了描述。Blumberg和Galyean［2］中引入更多的行為控制機制，并考慮了行為學習這樣一個令人感興趣的問題。對于自主角色的更高層次的認知能力方面，John David Fungc［3］中指出，認知模型是用于創建虛擬世界的模型“金字塔”的頂層，底層的行為模型作為認知模型和物理學模型之間的緩沖區，并將情景演算(situation calculus)［4］用于高度動態的虛擬世界。

但是，上述各種方法因為側重點不同，各有優缺點，且相互之間較為獨立，因此本文結合上述一些方法的優點，在此基礎上提出了基于認知角色建模，采用神經網絡和遺傳算法相結合的游戲自主角色的設計思路。基于此，各小節安排如下：

第一節確定了基于認知建模方法的游戲自主角色模型；第二節介紹了神經網絡在實現自主角色中的應用；第三節說明了遺傳算法對神經網絡的優化；第四節對自主角色的實驗進行了分析。

1基于認知建模的角色自主性模型

由于認知建模方法能夠采用精確的數學方式來定義自主角色的行為和學習模式，因此本文采用認知建模方法來對游戲角色的自主性進行建模。這里將游戲中存在的非玩家控制的角色簡稱為NPC,通過認知建模方法研究NPC的高級行為規劃，指導NPC,提高NPC的智能水平能力，使NPC能夠對環境作出判斷，并根據當前的狀態進行推理，進而完成相應的行動序列,有利于創建聰明自主的智能體――具有認知能力的自主的角色。

在計算機游戲中，我們將游戲角色關于他所在世界的內部模型稱“認知模型”(Cognitive Model)。認知模型可以用于游戲中，控制一類自主的角色。通過認知模型支配游戲角色對其所在環境的了解程度，如何獲取知識，以及如何利用知識選擇行動。

NPC的行為分為“預定義的”和“非確定性的”兩種，建立的認知模型也各不相同。建立預定義行為的認知模型比較簡單，只要將事先定義好的NPC所在環境的領域知識賦予NPC系統，NPC就可以根據人們的要求采取某種行動。而非確定性的行為不容易控制。為了實現人為的控制，我們采取一種折中的方法，即將領域知識和人的指導賦予NPC，使NPC主動地向人們希望它達到的目標發展。可由下面的公式表示:

知識+指導=行為

領域知識能夠用來規劃目標，而指導對如何達到目標提供一種框架計劃。

當然NPC在決定采取什么樣的行動時并不需要整個虛擬世界的知識。所以，我們認為NPC的認知模型是角色對其虛擬世界的一種內部簡化模型〔simplified model〕。

為此我們在現有游戲系統之上營造一個通過認知模型定義的高級行為規劃器來實現對NPC的行為指導。規劃器模型設計如圖1所示。

NPC的預定義行為和非確定行為都可以形式化為認知模型，通過認知模型來指導NPC高級行為規劃器，由于神經網絡在非確定中的強大的學習作用，因此本項目通過神經網絡來實現NPC高級行為規劃器的三個方面：目標引導、行為協調、約束滿足。

2基于人工神經網絡的角色自主系統

這里,我們采用的是神經網絡中的BP網絡作為NPC的感知系統。BP算法是一種用于多層前向網絡的學習算法，它包括輸入層、輸出層和隱含層，隱含層可以是多層結構。BP網絡的學習過程包括兩個階段:第一階段計算前向輸出;第二階段從反向調整連接權矩陣。

在前向傳播過程中，輸入信息從輸入層經隱含層逐層處理，并傳向輸出層，每一層神經元的輸出作為上層神經元的輸入.如果在輸出層，實際輸出值與期望輸出值有誤差時，則以反向將誤差信號逐層修改連接權系數并且反復迭代，最后使實際輸出值與期望值的均方差為最小。在修正連接權系數時，通常采用梯度下降算法。

BP神經網絡使用的是指導式的學習方法,即在學習過程中,向網絡提供有明確輸入和輸出目標的樣本對。BP學習算法是基于最小二乘法LMS 算法,運用梯度下降方法,使網絡的實際輸出與期望輸出的均方差最小。網絡的學習過程是一種誤差邊向后傳播邊修正連接權的過程。因為BP網絡對以分類為主要目的的學習非常有效,所以,我們采用B P網絡進行NPC分類的自學習。需要輸入NPC自主系統中BP網絡的特征參數主要是NPC的生命值,NPC的攻擊力，NPC的防御力，NPC的情感值等，玩家虛擬角色的生命值,玩家虛擬角色的攻擊力，玩家虛擬角色的防御力，玩家虛擬角色的情感值等。

NPC在虛擬游戲環境下，在與玩家的不斷交互中刺激著感知系統，在外界環境發生變化時產生認知模型指導下的自主行為，通過神經網絡最終演化成具有自主性的行為系統，同時，利用遺傳算法使適應度有一定程度的增加，使NPC更適應外界環境的變化。關于NPC的感知系統的設置如下：

1） 輸入參數的確定

NPC的感知系統由人工神經網絡構成，虛擬游戲環境的特征參數作為輸入送入神經網絡進行學習。在我們的游戲項目中，輸入主要包括三種類型：布爾類型、枚舉類型和連續類型三種，但是這三種類型都需要轉化成神經網絡所認可的實數類型。

2） 權重的確定

權重有些類似于生物神經網絡的樹突聯結，權重影響了輸出變量的值，并且定義了神經網絡的行為，實際上訓練或者演化神經網絡的主要目標就是確定NPC神經網絡的權重。為了確定每個輸入參數的權重，需要確定激活函數。

3） 激活函數的確定

激活函數確定了輸入與輸出參數之間的映射關系，針對NPC自主角色的神經網絡，我們采用的是非線性激活函數，具體采用的是S型激活函數。

3基于遺傳算法的神經網絡優化

神經網絡的基本特征是大規模并行處理、容錯性、自適應性和自組織性，適合處理直覺和形象思維信息。神經網絡與遺傳算法的結合使神經網絡的訓練有了一個嶄新的面貌，目標函數既不要求連續，也不要求可微，僅要求該問題可計算，而且它的搜索始終遍及整個解空間，因此容易得到全局最優解。用遺傳算法優化神經網絡，可以使得神經網絡具有自進化、自適應能力，從而構造出進化的神經網絡(ENN)［5］。

研究NPC的進化,要建立NPC在虛擬環境中進行的各種行為模型。另外,同虛擬環境本身也會發生競爭。由于適應度是NPC競爭力大小的直接反映,為了建立NPC的競爭機制,首先要建立NPC的適應度函數。

首先,NPC的適應度函數和NPC的種類相關。在同一環境下,不同NPC的適應度肯定是不相同的［6］。同時,為了表現NPC自學習對進化的影響,有了學習能力的同種NPC適應度的取值也有所不同。其次,NPC的適應度還與其所處的不同階段有關。適應度取值在其不同階段中不是一成不變的。

在環境不發生變化時,NPC的適應度函數F(t)可以用此函數表示:

其中,參數a表示NPC的生命力值;參數k表示NPC的類型,不同的NPC對同一游戲環境的適應性是不一樣的,當k取不同的值時,會得到適應度不同的各種NPC。接著按照以下工作步驟操作：

1） 從NPC神經網絡中提取權重向量；

2） 用遺傳算法演化出一個新的網絡權重群體；

3） 把新的權重插入到NPC神經網絡；

4） 轉到第一步進行重復，直至獲得理想的性能。

4試驗分析

我們的實驗測試場景如下：

在一個仿真的三維游戲環境下,游弋著若干個NPC角色和一個玩家控制的虛擬角色,主角可以漫游整個游戲場景,這些NPC當遇到主角后,可能會對主角采取不同的行為,比如攻擊行為,逃避行為,團隊作戰行為,對話行為等,所有這些行為的決策都取自于神經網絡的訓練。

在采用神經網絡算法之前，所有的NPC無論強弱，都會主動向玩家角色發起攻擊，而在采用神經網絡算法之后，這些NPC都具有了一個人工大腦，每個NPC在與玩家角色的交互過程不斷地學習，不斷地演化，最終變成自主角色，具體表現在：NPC根據以往與玩家角色交互過程中的經驗，從而產生較為理智的行為，比如當NPC感覺玩家的綜合實力要高于自己時，它可能會采取逃避的行為，而當NPC感覺其綜合實力要高于玩家時，它往往會主動攻擊玩家。

表1和表2列舉了應用神經網絡算法前后的測試數據。

應用神經網絡算法所采取的實驗方案如下：

(1) 對于NPC感知系統的輸入，包括與虛擬玩家角色的距離， 虛擬玩家的攻擊力，防御力，生命力，魔法力，信譽度，NPC自身的攻擊力，防御力，生命力，魔法力，信譽度。并將參數歸一化，使最終的參數范圍位于[-1, 1]之間；

(2) 對于NPC感知系統的輸出，包括躲避，單獨攻擊，潛伏，召喚同伴，團隊攻擊等行為。即將神經元的輸出元設計成五個，這些行為通過一些標志符來確定，例如， 如果代表攻擊的輸出位為1，則其他位為零。

通過對比兩組測試試驗,可以發現后一組試驗中,NPC能夠根據自己的實力和玩家的實力對比，理智的采取一些行為（比如退避，呼喚同伴協同作戰）而不是一味盲目攻擊， NPC的存活率顯然就很高，因此也顯得較為智能。

第7篇

[關鍵詞]小波神經網絡 電阻率儀器 溫度補償算法

中圖分類號：TP183 文獻標識碼：A 文章編號：1009-914X（2015）15-0343-01

1、前言

在實際的現場工礦條件中，油層溫度遠高于地面正常的環境溫度，在一定范圍內造成儀器的測量數據產生溫度漂移，不能準確地反映真實的地層參數，這直接影響到定向工程。為了消除這種測量誤差，本文介紹一種基于小波神經網絡的算法來實現電阻率溫度補償，并通過實際的測量數據修正結果證實了能夠最大限度地消除溫度造成的測量誤差。

2、理論基礎

由于溫度造成的測量數據偏差已經影響到儀器正常的工作，為了消除其對MRC儀器輸出的影響，達到輸出電壓與各個易感器件產生的連帶誤差最小的目標，采用一種算法去逼近真正的測量值。本文擬采用基于小波分析和前饋神經網絡，其所構成的數學模型結合了小波變換良好的時域局域化性質及神經網絡的自學習功能，通過對網絡特征的分析處理，將學習向量的內積和小波基迭代計算，以實現函數逼近的目標。小波網絡因其良好的非線性映射能力和較強的容錯逼近特性，能夠逼近特定性質的非線性曲線[2]。

如圖1所示：

2.1 小波神經網絡

小波神經網絡的學習，是用已定位的小波元代替神經元作為網絡的激活函數，通過小波網絡提供區別函數的多分辨近似，非平穩信號分析和神經網絡的自學習的并行處理。利用神經網絡數據正向傳遞與誤差的反向傳播算法，計算輸出層的誤差變化值。同時選取適當的小波作特征提取，在其特征空間選取最佳的小波基，通過伸縮和平移因子，加快網絡學習和收斂速度。本文采用的是以小波函數為隱層節點的基函數的神經網絡，進行隨鉆儀器電阻參數溫度補償的研究。

小波分析的定義：在函數空間中選擇母小波函數S（x），此函數需要滿足相容性條件。

對小波函數S（x）進行伸縮變換和平移變換得到小波基函數，其公式如下：

其中自變量（a，b）是伸縮因子和平移因子。小波級數把函數f（x）分解成不同頻率的組合。

符號“< >”表示內積，和稱為小波系數。

2.2 小波神經網絡結構及算法

本文采用小波神經網絡結構如圖2所示

該網絡輸入神經元代表的是不同溫度下測量節點的采樣數值，將此學習樣本輸入到神經網絡，隱層的激勵函數采用的是Morlet小波，選用的依據是其對隱層基函數的正交性要求較低，具有較高的時頻域分辨能力，同時滿足相容性條件，能有效地提高學習逼近的速度和準確性。

小波神經網絡訓練算法流程圖如圖3所示：開始網絡化參數初始輸入學習樣本和期望輸出小波網絡學習，計算網絡實際輸出網絡誤差學習次數T

三、儀器溫度補償實例

儀器發射線圈流過的電流產生磁場，通過井眼和周圍的底層傳播到兩個接受線圈，采集其測量時序和信號幅度，從而來計算此地層的電阻率值。在實際的測量計算中，選用相位差和幅度比來實現。設定常溫到120度之間的試驗需求樣本數據，通過網絡學習所達到的實測數據。網絡學習的收斂速度也滿足了預期的效果，同時滿足了設定的誤差范圍。在儀器測量的實際運行中提高了測量穩定性和容錯性。

參考文獻

[1] 焦李成.神經網絡系統理論[M].西安電子科技大學出版社，1990.

第8篇

關鍵詞：樹葉識別；支持向量機；卷積神經網絡

中圖分類號 TP18 文獻標識碼：A 文章編號：1009-3044（2016）10-0194-03

Abstract： In this paper， the convolution neural network recognition in the leaves， and the process by convolution of image visualization. Experiments show that the neural network application identification convolution leaves a 92% recognition rate. In addition ， this neural network and support vector machine comparative study can be drawn from the study ， convolutional neural network in either speed or accuracy better than support vector machines， visible， convolution neural network in the leaves aspect has good application prospects.

Key words recognition leaves； SVM； convolutional neural network

1 概述

樹葉識別與分類在對于區分樹葉的種類，探索樹葉的起源，對于人類自身發展、科普具有特別重要的意義。目前的樹葉識別與分類主要由人完成，但，樹葉種類成千上萬種，面對如此龐大的樹葉世界，任何一個植物學家都不可能知道所有，樹葉的種類，這給進一步研究樹葉帶來了困難。為了解決這一問題，一些模式識別方法諸如支持向量機（Support Vector Machine，SVM）[1]，K最近鄰（k-NearestNeighbor， KNN）[2]等被引入，然而，隨著大數據時代的到來，這些傳統分類算法暴露出越來越多的不足，如訓練時間過長、特征不易提取等不足。

上世紀60年代開始，學者們相繼提出了各種人工神經網絡[3]模型，其中卷積神經網絡由于其對幾何、形變、光照具有一定程度的不變形，因此被廣泛應用于圖像領域。其主要特點有：1）輸入圖像不需要預處理；2）特征提取和識別可以同時進行；3）權值共享，大大減少了需要訓練的參數數目，是訓練變得更快，適應性更強。

卷積神經網絡在國內研究才剛剛起步。LeNet-5[4]就是一種卷積神經網絡，最初用于手寫數字識別，本文研究將卷積神經網絡LeNet-5模型改進并應用于樹葉識別中。本文首先介紹一下卷積神經網絡和LeNet-5的結構，進而將其應用于樹葉識別，設計了實驗方案，用卷積神經網絡與傳統的模式識別算法支持向量機（SVM）進行比較，得出了相關結論，并對進一步研究工作進行了展望。

2人工神經網絡

人工神經網絡方面的研究很早就已開展，現在的人工神經網絡已經發展成了多領域、多學科交叉的獨立的研究領域。神經網絡中最基本的單元是神經元模型。類比生物神經元，當它“興奮”時，就會向相連的神經元發送化學物質，從而改變這些神經元的狀態。人工神經元模型如圖1所示：

上述就是一個簡單的神經元模型。在這個模型中，神經元接收來自n個其他神經元傳遞過來的輸入信號，這些信號通過帶權重的w進行傳遞，神經元接收到的總輸入值將與神經元的閾值進行比較，然后通過“激活函數”來產生輸出。

一般采用的激活函數是Sigmoid函數，如式1所示：

[σz=11+e-z] （1）

該函數圖像圖2所示：

2.1多層神經網絡

將上述的神經元按一定的層次結構連接起來，就得到了如圖3所示的多層神經網絡：

多層神經網絡具有輸入層，隱藏層和輸出層。由于每一層之間都是全連接，因此每一層的權重對整個網絡的影響都是特別重要的。在這個網絡中，采用的訓練算法是隨機梯度下降算法[5]，由于每一層之間都是全連接，當訓練樣本特別大的時候，訓練需要的時間就會大大增加，由此提出了另一種神經網絡―卷積神經網絡。

2.2卷積神經網絡

卷積神經網絡（CNN）由于在圖像分類任務上取得了非常好的表現而備受人們關注。發展到今天，CNN在深度學習領域已經成為了一種非常重要的人工神經網絡。卷積神經網絡的核心在于通過建立很多的特征提取層一層一層地從圖片像素中找出關系并抽象出來，從而達到分類的目的，CNN方面比較成熟的是LeNet-5模型，如圖4所示：

在該LeNet-5模型中，一共有6層。如上圖所示，網絡輸入是一個28x28的圖像，輸出的是其識別的結果。卷積神經網絡通過多個“卷積層”和“采樣層”對輸入信號進行處理，然后在連接層中實現與輸出目標之間的映射，通過每一層卷積濾波器提取輸入的特征。例如，LeNet-5中第一個卷積層由4個特征映射構成，每個特征映射是一個24x24的神經元陣列。采樣層是基于對卷積后的“平面”進行采樣，如圖所示，在第一個采樣層中又4的12x12的特征映射，其中每個神經元與上一層中對應的特征映射的2x2鄰域相連接，并計算輸出。可見，這種局部相關性的特征提取，由于都是連接著相同的連接權，從而大幅度減少了需要訓練的參數數目[6]。

3實驗研究

為了將LeNet-5卷積網絡用于樹葉識別并檢驗其性能，本文收集了8類樹葉的圖片，每一類有40張照片，如圖5所示的一張樹葉樣本：

本文在此基礎上改進了模型，使用了如圖6卷積神經網絡模型：

在此模型中，第一個卷積層是由6個特征映射構成，每個特征映射是一個28*28的神經元陣列，其中每個神經元負責從5*5的區域通過卷積濾波器提取局部特征，在這里我們進行了可視化分析，如圖7所示：

從圖中可以明顯地看出，卷積網絡可以很好地提取樹葉的特征。為了驗證卷積神經網絡與傳統分類算法之間的性能，本文基于Python語言，CUDA并行計算平臺，訓練同樣大小8類，一共320張的一批訓練樣本，采用交叉驗證的方法，得到了如表1所示的結論。

可見，無論是識別率上，還是訓練時間上，卷積網絡較傳統的支持向量機算法體現出更好地分類性能。

4 總結

本文從人工神經網絡出發，重點介紹了卷積神經網絡模型LeNet-5在樹葉識別上的各種研究并提取了特征且進行了可視化，并與傳統分類算法SVM進行比較。研究表明，該模型應用在樹葉識別上較傳統分類算法取得了較好的結果，對收集的樹葉達到了92%的準確率，并大大減少了訓練所需要的時間。由于卷積神經網絡有如此的優點，因此在人臉識別、語音識別、醫療識別、犯罪識別方面具有很廣泛的應用前景。

本文的研究可以歸納為探討了卷積神經網絡在樹葉識別上的效果，并對比了傳統經典圖像分類算法，取得了較好的分類精度。

然而，本文進行實驗的樣本過少，當數據集過多的時候，這個卷積神經網絡算法的可行性有待我們進一步的研究；另外，最近這幾年，又有很多不同的卷積神經網絡模型出現，我們會繼續試驗其他的神經網絡模型，力求找到更好的分類算法來解決樹葉識別的問題。

參考文獻：

[1]Bell A， Sejnowski T. An Information-Maximization Approach to Blind Separation and Blind Deconvolution[J]. Neural Computation， 1995， 7（6）：1129-59.

[2]Altman N S. An Introduction to Kernel and Nearest-Neighbor Nonparametric Regression[J]. American Statistician， 1992， 46（3）：175-185.

[3]Ripley B D， Hjort N L. Pattern Recognition and Neural Networks[M]. Pattern recognition and neural networks. Cambridge University Press，， 1996：233-234.

[4]Lécun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

第9篇

關鍵字：神經網絡；粒子群；信息共享；全局搜索；尋優

中圖法分類號：TP393 文獻標識碼：A 文章編號：2095-2163（2015）03-

Self-discipline Neural Network Equalization Algorithm Based on the Particle Swarm

ZHAO Huiqing

（Department of Information Science，Xinhua College of Sun Yat-sen University，Guangzhou 510520，China）

Abstract： Existing neural network has a large network error. In response to this problem， the paper puts forward self-discipline neural network equalization algorithm based on the particle swarm. The effect on neural network optimization is realized according to the information sharing and global search feature of particle swarm. And in order to maintain good accuracy， appropriate network constraints are also imposed. The results show that the experiment results are basically consistent with the expected results. It can maintain good accuracy at different channel.

Keywords： Neural Network； Particle Swarm； Information Sharing； Global Search； Optimization

0 引言

從20 世紀 80 年代中期以來，神經網絡以其好的自組織與自學習的獨特優勢，現已廣泛地應用于通信領域[1-3]。但通過研究現有的神經網絡則不難發現，該系統在實際運用中過度依賴于訓練算法與初始權值，從而導致算法陷入了局部的最優化；為此，人們提出了許多解決方案[4-7]。其中，基于粒子群優化算法的神經網絡算法尤為突出；算法通過結合群體中粒子間的合作與競爭關系，來促使網絡群體的智能尋優；這在很大程度上解決了算法的局部最優化問題[8-9]。但在實際的運用過程中，又進一步發現，算法依然存在需要改進的地方，即網絡的適用性較小且精度不高等問題。

為此，本文提出了一種具有自我約束能力的粒子群神經網絡均衡算法。算法依據神經網絡與粒子群算法的特點[10]，將神經網絡算法與粒子群算法有機地結合在一起，并通過兩者間的互補，來提高網絡的整體效率。研究中為了避免算法出現局部最優化問題，本文對網絡中的搜索粒子進行了速度的約束；而后，為保證算法的穩定性與精確性，又對網絡的搜索進行了約束，由此而保障每一網絡路徑的有效暢通。經由仿真實驗，該算法能夠獲得相比其他算法更高的精度，且其實際應用性也更強。

1. 神經網絡

神經網絡通過模仿動物的行為特征，進而實現分布式并行信息處理；這一方法有效地解決了網絡的信息傳輸問題，通過依靠網絡系統的復雜程度與各節點的連通性，實現了大量數據的傳輸問題[11]。其中，神經網絡的結構大致可以分為三層，即輸入層，隱含層以及輸出層。

假設 為輸入層到隱層的連接權重， 為隱層到輸出層的連接權重，其中 ， 。其數據傳輸原理與結構圖如圖1所示。

圖1 神經網絡結構圖

Fig.1 Neural network structure diagram

在圖1的神經網絡中，隱層函數如式（1）所示：

（1）

輸出層函數如式（2）所示：

（2）

其中， 為隱層的輸入，而 為隱層的輸出； 為輸出層的輸入，而 為輸出層的輸出。 表示輸出層的輸入與輸出間的傳遞函數，而 表示隱層的輸入信號進行的小波變換。

2粒子群優化的網絡均衡處理

2.1 初始化

初始化粒子在當前網絡中的所在位置，令其在最初就以隨機分布的方向進行定義，即 ，其中每個隨機產生的粒子 都代表一個均衡器的一個權向量。同時再令初始位置為 ，初始速度為 ；為了便于后文的計算，在此，定義 為當前網絡中的局部極值；而 則是代表當前網絡中的全局極值。

2.2 速度和位置更新

速度與位置的更新在粒子群優化（PSO）算法中是至重要的參數指標項。為此，本文提出一個局部與全局的最佳粒子的搜索信息傳遞速度與位置更新函數，如式（3）所示。

（3）

其中， 為粒子速度的n個維度， 為0到1之間的隨機數， 為比例因子，而 、 為局部最佳粒子 與全局最佳粒子 的擴展因數。基于此，為了保證其搜索的準度，對粒子的速度進行了限制，即當搜索的粒子速度超過設計的限定速度時，將對速度進行抑制，其方法的表達函數為：

（4）

2.3 網絡的約束

本文采用網絡的覆蓋概率和寬度間隔對當前網絡進行評價，具體求取方式論述如下。

2.3.1區間的覆蓋概率

網絡的覆蓋概率（ ）是衡量網絡適應與否的指標， 可做如下定義：

（5）

其中，m×n是樣品數量；當 ，目標 ；其他的情況下， ，而 、 則為目標的最小值與最大值。

2.3.2 區間的寬度間隔

在時間間隔寬度足夠長的情況下，網絡的覆蓋概率會較少。但如果其間隔過寬，卻又會導致資源的浪費，為此，本文對預測區間內的寬度間隔進行定義，計算公式如下：

（6）

其中，R為潛在目標的范圍。

而對于方根誤差，本文則是用于評價器成功演繹訓練來的指標，通過對預測區間內歸一化的方根寬度進行定義，來提高神經網絡訓練的效果，其定義函數如下。

（7）

2.3.3 約束條件

在實際的運用中，上述提及的覆蓋概率與寬度間隔存在一定的矛盾關聯，為此需要進行制衡匹配，來提高網絡的整體處理效果。本文中，使用的寬度標準如下所示。

（8）

其中，訓練滿足 ；但作為測試樣品時， 為階躍函數，并需滿足如下條件。

其中， 、 皆為常數，用于懲罰網絡覆蓋現象的發生。

3仿真算法

為驗證算法的可行性，本文在Matlab 2014a 軟件環境下進行測試，并進行了多組實驗。實驗中選用的對比算法有傳統的神經網絡算法與文獻[12]中的算法；同時又選用兩種不同的信道進行測試，具體傳輸函數如下所示。

電話信道：

普通信道：

為檢驗算法的精度，本文選用誤碼率進行算法的評價，通過采用上述指定的算法進行測試，測試中以正方形曲線代表傳統的神經網絡算法，圓形曲線代表文獻算法，而三角形圖像代表本文算法。實驗仿真結果如圖2、圖3所示。

圖2電話信道下的誤碼率

Fig.2 Bit error rate in telephone channel

圖3 普通信道下的誤碼率

Fig.3 Bit error rate under common channel

由圖2、圖3可看到，在兩種不同的信道下，本文算法的誤碼率曲線始終保持在另外兩種算法的下方；其中在電話信道下，本文算法隨著信噪比的不斷增強的影響，其誤碼率減少為了、最大；而在普通信道下，本文算法與文獻算法所測誤碼率相接近，但本文算法始終保持在其下方。由仿真測試可知，測試過程有效證明了算法精度，且與其他算法相比更加適用于信道較復雜的網絡。

4 結束語

提出了一種提升網絡精度的神經網絡均衡算法，該算法通過結合粒子群的特性，利用粒子的速度來避免粒子速度過大的造成的數據丟失現象；最后，根據網絡的區間覆蓋率與間隔寬度等條件對網絡進行尋優約束；經實驗驗證，該算法具有較好的搜索精度，但在算法的搜索效率方面仍有較大的提升空間，這將作為下一步的研究方向，用于開展深入研究。

參考文獻

[1]RICHARDSON F， REYNOLDS D， DEHAK N. Deep Neural Network approaches to speaker and language recognition[J]. IEEE SIGNAL PROCESSING LETTERS，2015，22（10）： 1671-1675.

[2]WANG L B， MENG Z， SUN Y Z， et al. Design and analysis of a novel chaotic diagonal recurrent neural network[J]. COMMUNICATIONS IN NONLINEAR SCIENCE AND NUMERICAL SIMULATION， 2015，26（1-3）： 11-23.

[3]ZHOU X H， ZHOU W N， YANG J， et al. A novel scheme for synchronization control of stochastic neural networks with multiple time-varying delays[J]. NEUROCOMPUTING，2015，159： 50-57.

[4]SONG Q K， ZHAO Z J， LIU Y R. Stability analysis of complex-valued neural networks with probabilistic time-varying delays[J]. NEUROCOMPUTING， 2015，159： 96-104.

[5]LIU H， BAN X J. Clustering by growing incremental self-organizing neural network[J]. EXPERT SYSTEMS WITH APPLICATIONS， 2015，42（11）： 4965-4981.

[6]JIANG M H， MEI J， HU J H. New results on exponential synchronization of memristor-based chaotic neural networks[J]. NEUROCOMPUTING， 2015，156： 60-67.

[7]XIONG T， BAO Y K， HU Z Y， et al. Forecasting interval time series using a fully complex-valued RBF neural network with DPSO and PSO algorithms[J]. INFORMATION SCIENCES， 2015，305： 77-92.

[8]AGRAWAL R K， BAWANE N G. Multiobjective PSO based adaption of neural network topology for pixel classification in satellite imagery[J]. APPLIED SOFT COMPUTING，2015，28： 217-225.

[9]KRZYSZTOF P， ARKADIUSZ L. Encoding symbolic features in simple decision systems over ontological graphs for PSO and neural network based classifiers[J]. NEUROCOMPUTING， 2014，144： 338-345

[10]TU J J， ZHAN Y Z， HAN F. Radial basis function Neural Network optimized by Particle Swarm Optimization Algorithm coupling with prior information[J]. JOURNAL OF COMPUTATIONAL AND THEORETICAL NANOSCIENCE，2013，10（12）： 2866-2871.

第10篇

關鍵詞：全卷積神經網絡；顯著性預測；縮略圖生成

中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2017）14-0149-02

1概述

縮略圖是一種經壓縮方式處理后的圖片，在小尺度下包含了原圖像大部分有效信息，可廣泛應用于圖像快速索引、網頁超鏈接等多個領域。目前相關算法多采用固定分辨率縮放及中央裁剪等固定規則進行縮略圖生成，而忽視圖像自身具有的內容信息。為提高縮略圖攜帶的有效信息，該文利提出一種利用全卷積神經網絡對圖像進行顯著性預測，再由顯著點密度自動獲取圖像中包含最有意義信息的區域進行截取，進而生成圖像內容相關縮略圖的算法。

2算法設計

為生成面向圖像信息的自適應縮略圖，該方法由兩部分組成。第一部分為圖像識別模塊，主要工作是得到圖像的顯著性圖；第二部分為自適應滑動窗口模塊，主要工作是得到窗口內平均顯著度最強的窗口坐標。

2.1顯著性A測

該文在縮略圖截取區域識別階段采用顯著性預測算法作為識別手段。顯著性預測是目前非常活躍并正在不斷取得突破性進展的機器視覺領域下的一個子領域，是一種模擬人類注意力機制的算法。其主要目標是對圖像（畫面）中吸引人注意的地方（顯著性區域）進行自動的識別與提取，并生成與輸入圖像尺度對應的一張灰度圖。其生成的灰度圖中的高亮度區域代表具有顯著性物體，如汽車、人臉、字母等，并且服從高斯分布。根據特征融合理論（Feature Integration Theory），目前已有多種基于卷積神經網絡的顯著性預測算法被提出（如DeepFix、SALICON等），并極大的提高了顯著性識別的精度。

2.2卷積神經網絡概述

為生得到面向內容的縮略圖截取坐標，首先需要對圖像內容進行識別，并對圖像每個區域的重要程度進行分類。近年來由于GPU并行運算性能的突破性進步以及基于大數據技術的訓練數據集擴充，深度卷積神經網絡（Deep Convolutional Neu-ral Networks，DCNNs）在包括圖像識別、目標跟蹤及顯著性預測等多個圖像處理領域上的任務都取得了極大的提升。而預訓練參數（Pretraining）與轉移學習（Transfer Learning）等技術進一步提升了CNNs在多項圖像處理任務中的泛化能力及可用性，因此該文采用截斷VGG19模型為預訓練網絡，進行顯著點識別及縮略圖。全卷積神經網絡與傳統的全連接神經網絡類似，均采用梯度下降算法對權值進行更新。不同點在于，全卷積神經網絡每次更新的值包括卷積核的值以及該卷積核的權值。

2.3網絡結構

該文所采用的全卷積神經網絡采用截斷的VGGl9預訓練模型的前10層組成。VGGl9由進行圖像識別（物體分類）的ImageNet數據集訓練而成，可精確識別數據集中1000中物體分類，故其所學習的卷積核參數包含有豐富的物體信息。

其中網絡的具體成分主要由10層卷積模塊及3層最大池化層組成，而卷積模塊依次由一層卷積層，一層批量歸一化層以及一層ReLU（Rectified Linear Unit）激活函數層組成。其中前8層卷積層由普通3×3大小，1×1步長的卷積核組成，后兩層卷積層由帶2×2洞的3×3大小（故實際感受野為5×5），步長1×1的卷積核組成。

網絡結構如圖1所示。

2.4縮略圖生成

由全卷積神經網絡識別并得到的顯著性圖為灰度值為0-255的灰度圖，大的灰度值代表高顯著性激活度。在得到對應圖像的顯著性圖之后，方法采用步長為10像素的滑動窗口對顯著性圖進行遍歷，并選擇所窗口內激活程度最高的區域所處坐標作為縮略圖截取坐標。對于有多個相同激活值的區域則選取距離圖像中心最近的區域所處坐標為縮略圖截取坐標。最后通過對原始輸入圖像中對應縮略圖截取坐標進行截取，得到最終縮略圖。

3實驗設計

根據算法流程，該方法中實驗設計也可分為兩部分：第一部分為訓練用于得到顯著點坐標的全卷積神經網絡，第二部分為設計并實現基于顯著性圖的動態步長滑動窗口方法。

3.1網絡參數及訓練數據設置

該方法訓練數據選自開放數據集MIT1003及SALI-CONt31。實驗采用批量訓練方法，每批數據由128個樣本組成，共訓練2000個批次。網絡采用絕對平均誤差（Mean AbsoluteError，MAE）為損失函數（如公式1所示），并采用改進的梯度下降算法Adam算法進行權值更新，以提高網絡魯棒性及收斂性。網絡收斂曲線如圖2所示。

3.2滑動窗口設計

在得到輸入圖像的顯著性圖之后，所提方法通過滑動窗口截取縮略圖，并通過自適應步長降低算法的時間復雜度。自適應步長通過由當前窗口內顯著性圖的平均激活值得到。步長的最大分辨率為40像素，最小分辨率為5像素，當當前窗口內平均激活值小于預設閾值時，下一次窗口的滑動步長增加為當前步長2倍，直至增大到最大分辨率步長。當當前窗口呢平均激活值大于預設閾值時，則每一次滑動減小位原步長的1/2，直至衰減到最小分辨率步長。

3.3實驗結果

在驗證及測試階段，采用的測量標準為AUC-Judd，相關系數（Correlation Coefficient）以及KL散度（Kullback-Leibler Diver-gence）。其中AUC-Judd越大越好，KL散度越小越好。訓練收斂后以以上測量標準在MIT1003數據集上進行了驗證測試，所得結果如表一所示。表一表面該方法在顯著性預測上超過了傳統方法，取得了較好的結果。

圖3對所提方法得到的縮略圖進行了直觀展示。從中可知所提方法在縮略圖生成的過程中對圖像本身信息進行了有效提取且得到了有效的顯著性圖，并由該顯著性圖通過滑動窗口得到了縮略圖所需的正確截取坐標。最后得到的縮略圖對于原圖像本身信息具有高代表性，且并未損失分辨率信息。

第11篇

Abstract： By modeling and neural network， we built the prediction system of genetic neural network. Through a comprehensive analysis of various factors of vibrator and fusion， genetic algorithm is used to copy， exchange， so the prediction system can greatly improve the convergence speed， its use and practical engineering using strong.

關鍵詞： 神經網絡；振沖器；預測；算法

Key words： nerve net；vibrating equipment；forecast；arithmetic

中圖分類號：TU473.1 文獻標識碼：A 文章編號：1006-4311（2013）23-0047-02

1 振沖器性能預測原理

振沖器原理；振沖器是借助于偏心塊在定軸旋轉時的離心力，使整個振沖器產生具有一定頻率和振幅的激振力，對軟弱地基進行加固處理。用振動輔以壓力水加密砂土的概念，最早是由德國的斯徒門在1936年提出的。1937年德國凱勒（J·Keller）公司研制成功第一臺振沖器如圖1和圖2。在三十年代和四十年代初，就開始用這種機具加固砂性地基。六十年代，德國和英國相繼有人將這一加固技術應用到粘性土地基的加固中。隨后，在美國成立了振沖工程技術公司，承包一些工程。同時日本和蘇聯也引進了這一技術，如蘇聯在埃及尼羅河上修建的阿斯旺水壩就采用了振沖法加固壩基。七十年代，我國也引進了該項技術，并在許多軟基加固工程中得到應用[1-3]。

大量工程實踐表明，振沖器的性能參數（振頻、振幅和激振力等）對加固的效果影響較大。但怎樣恰當的選擇最優參數，以獲得最佳的加固效果，是振沖器設計的關鍵。因此將這些影響因素融合分析，在不同的工況下，會使得振沖器產生不同的工作性能。并且振密電流，振沖水壓，留振時間等也反映出振沖器的優劣性質。所以我們應用遺傳神經網絡方法完成振沖器性能的預測顯得比較關鍵和重要。

振沖器一般由激振器、減震器和潛水電機組成[4]。

偏心塊以等角速度？棕旋轉，其質心O'與轉軸軸心O存在偏心距e。旋轉時，激振力使得振沖器產生間歇振動。[4]

OC是激振器的振幅，其質心C的運動方程為：

Xc=OC·cos？棕t（1）

Yc=OC·sin？棕t（2）

由于激振器做等角速度轉動，根據平衡方程，振幅A應該是：

A=OC=■·e（cm）（3）

公式中e為偏塊質心的偏心距，W為偏心塊的重量，Q為激振器殼體部分總重量

如果將振沖器在土體的振動視為有粘性阻尼的單自由度的強迫振動，其振幅為：

A=■（m）（4）

其中？棕Z為土體自轉原頻率；DZ為土體阻尼比。

2 神經網絡算法[1]

2.1 神經網絡基本原理 BP神經網絡由輸入層、隱層和輸出層組成。對于N各集合{（x（t），y（t））|x∈RM，y∈RN，t=1，2，…N}的離散時間序列，BP網絡可以完成從輸入到輸出的非線性映射，使得F：RMRN[1]。其中，隱含層可以是一層也可以是多層。

從結構講，三層BP網絡是一個典型的半線性層次網絡。此法的思路：先通過神經元向前發送輸入模式，然后計算理想輸出與實際輸出的誤差，將其看作連接層各連接點的誤差，通過輸出反向到輸入層再分攤給各節點，從而可以算出各個節點的參考誤差，并且對各個節點進行調整，使得達到要求的映射范圍。通過多次不斷的迭代，使得誤差不斷減小，直到獲得期望的輸出，網絡訓練即為結束[6-7]。

2.2 振沖器性能指標模型建模 神經網絡系統設計為多輸入、多輸出結構[5]。網絡結構為6-4-5，輸入層單元數為選擇的參數單元的個數，即為動力矩、頻率、電機功率、偏心距、自由振幅、振動加速度；輸出層為振沖作業的深度、樁徑要求、振沖器的功率、振密電流、留振時間5個單元。隱層為1層，經驗證隱層的單元數目為4個。

采用遺產算法的交換、復制過程，來代替BP算法過程，可以加快了收斂的速度，但也可能是會造成收斂性過早，所以我們改進一些措施，來提高算法的指標：

（1）將網絡中的輸入層與隱含層、隱含層與輸出層之間的權值以及節點處閾值按權值優先的原則進行排列成網絡。

（2）BP網絡中權重參數的調整是沿著誤差函數的梯度方向下降，但由于此種方法偏離的誤差的最小點方向，采取變梯度算法的第一次迭代都是沿著最陡梯度下降方向開始進行搜索的。采用最佳距離的線性搜索是沿著當前搜索的方向進行。

（3）神經網絡遺傳算法中個體復制是依據適應性的原則，適應性大的進行復制，小的剔除。

復制的概率公式：

Pr=Ar1-1/■+■[3]（5）

（4）交換是產生新個體的主要手段。但是隨機選擇會產生操作結果的隨機性，可能使得有效因子缺失，從而使得搜索最優解的時間延長。所以，系統的交換概率根據遺傳過程中每二代差異及每代內各個連接單元的相似程度動態調整交換率，調整公式為：

Pc=Ac1■+Ac2（1.2-Bk/Ba）（6）

在公式（5）和公式（6）中AK為計算的單元個體適應度，Ba為整體中適應度相對較好的前一半的個體適應度，Ac1和Ac2是交換系數，Ar1和Ar2是復制系數。

3 算例

檢測50組數據作為訓練樣本及10組數據用于網絡性能測試。每組數據由動力矩、激振力、電機功率、頻率四個參數組成，作為神經網絡的輸入；神經網絡的輸出為振沖器及施工做出的樁體的預測結果，分別為短路、串樁、堵孔、正常、填料量少等5個單元。

試驗結果和預測如表2，系統經356次迭代，代入試驗樣本檢驗，正確率為90%；未修正的方法需迭代740次，正確率為85%，所以此方法迭代快，準確率高。

4 結論

①通過不同的影響因素綜合分析，可以有效的預測振沖器的工作性能。②此方法的預測系統，使得預測時間縮短，節約時間，有一定的實際意義和利用價值。③應用改進的方法后，預測結果成功率在一定程度上有所提高。

參考文獻：

[1]Martin T Hagan ，Howard B Demuth ，Mark H Beale.神經網絡設計[M].戴葵，伯民，譯.北京：機械工業出版社，2002：214.

[2]董恩國. 基于遺傳神經網絡算法的發動機性能預測[J]. 起重運輸機械，2005（9）.

[3]楊振強，王常虹.自適應復制、交叉和突變的遺傳算法[J].電子科學學刊，2000（1）：112-117.

[4]孫述祖.振沖器參數的研究分析[J].建筑機械，1987（07）.

[5]施鴻寶.神經網絡及其應用1西安：西安交通大學出版社， 1993.

第12篇

關鍵詞:模糊神經網絡;擴展卡爾曼濾波;自組織學習

Fast self-organizing learning algorithm based on EKF for fuzzy neural network

ZHOU Shang-bo，LIU Yu-jiong

(College of Computer Science， Chongqing University， Chongqing 400044， China)

Abstract:To construct an effective fuzzy neural network， this paper presented a self-organizing learning algorithm based on extended Kalman filter for fuzzy neural network. In the algorithm， the network grew rules according to the proposed growing criteria without pruning， speeding up the online learning process.All the free parameters were updated by the extended Kalman filter approach and the robustness of the network was obviously enhanced. The simulation results show that the proposed algorithm can achieve fast learning speed， high approximation precision and generation capability.

Key words:fuzzy neural network; extended Kalman filter(EKF); self-organizing learning

模糊神經網絡起源于20世紀80年代后期的日本，由于其簡單、實用，已經被廣泛應用在工業控制、系統辨識、模式識別、數據挖掘等許多領域[1~4]。然而，如何從可用的數據集和專家知識中獲取合適的規則數仍然是一個尚未解決的問題。為了獲取模糊規則，研究人員提出了不同的算法，如文獻[5]利用正交最小二乘算法確定徑向基函數的中心，但是該算法訓練速度比較慢;文獻[6]提出了基于徑向基函數的自適應模糊系統，其算法使用了分層自組織學習策略，但是逼近精度低。擴展卡爾曼濾波(EKF)算法作為一種非線性更新算法，在神經網絡中得到了廣泛應用。文獻[7]利用擴展卡爾曼濾波算法調整多層感知器的權值，文獻[8]利用擴展卡爾曼濾波算法調整徑向基函數網絡的權值。

本文提出了一種模糊神經網絡的快速自組織學習算法(SFNN)。該算法基于無須修剪過程的生長準則增加模糊規則，加速了網絡學習過程，同時使用EKF調整網絡的參數。在該算法中，模糊神經網絡結構不是預先設定的，而是在學習過程中動態變化的，即在學習開始前沒有一條模糊規則，在學習過程中逐漸增加模糊規則。與傳統的模糊神經網絡學習算法相比，本算法所得到的模糊規則數并不會隨著輸入變量的增加而呈指數增長，特別是本算法無須領域的專家知識就可以實現對系統的自動建模及抽取模糊規則。當然，如果設計者是領域專家，其知識也可以直接用于系統設計。本算法所得到的模糊神經網絡具有結構小、避免出現過擬合現象等特點。

1 SFNN的結構

本文采用與文獻[9]相似的網絡結構，如圖1所示。其中，r是輸入變量個數;?x?i(i=1，2，…，r)是輸入語言變量;y是系統的輸出;MFij是第i個輸入變量的第j個隸屬函數;R?j表示第j條模糊規則;w?j是第j條規則的結果參數;u是系統總的規則數。

下面是對該網絡各層含義的詳細描述。

第一層:輸入層。每個節點代表一個輸入語言變量。

第二層:隸屬函數層。每個節點代表一個隸屬函數，隸屬函數采用如下的高斯函數:

μij=exp(-(x?i-cij)?2σ?2ij);i=1，2，…，r; j=1，2，…，u(1)

其中:r是輸入變量數;u是隸屬函數個數，也代表系統的總規則數;μij是x?i的第j個高斯隸屬函數;cij是x?i的第j個高斯隸屬函數的中心;σij是x?i的第j個高斯隸屬函數的寬度。

第三層:T-范數層。每個節點代表一個可能的模糊規則的IF-部分，也代表一個RBF單元，該層節點個數反映了模糊規則數。如果計算每個規則觸發權的T-范數算子是乘法，則在第三層中第j條規則R?j的輸出為

φ?j=exp(-?ri=1(x?i-cij)?2σ?2ij);j=1，2，…，u(2)

第四層:輸出層。該層每個節點代表一個輸出變量，該輸出是所有輸入變量的疊加。

y(X)=?uj=1w?jφ?j(3)

其中:y是網絡的輸出;w?j是Then-部分。

2 SFNN的學習算法

如前文所述，第三層的每個節點代表一個可能的模糊規則的IF-部分或者一個RBF單元。如果需要辨識系統的模糊規則數，則不能預先選擇模糊神經網絡的結構。于是，本文提出一種新的學習算法，該算法可以自動確定系統的模糊規則并能達到系統的特定性能。

2.1 模糊規則的產生準則

在模糊神經網絡中，如果模糊規則數太多，不僅增加系統的復雜性，而且增加計算負擔和降低網絡的泛化能力;如果規則數太少，系統將不能完全包含輸入/輸出狀態空間，將降低網絡的性能。是否加入新的模糊規則取決于系統誤差、可容納邊界和誤差下降率三個重要因素。

2.1.1 系統誤差

誤差判據:對于第i個觀測數據(x?i，t?i)，其中x?i是輸入向量，t?i是期望輸出，由式(3)計算網絡現有結構的全部輸出y?i。

定義:e?i=t?i-y?i;i=1，2，…，n(4)

如果e?i>k?e k?e=max[emax×β?i，emin](5)

則說明網絡現有結構的性能比較差，要考慮增加一條新的規則;否則，不生成新規則。其中:k?e是根據網絡期望的精度預先選擇的值;emax是預定義的最大誤差;emin是期望的輸出精度;β(0

2.1.2 可容納邊界

從某種意義上來講，模糊神經網絡結構的學習是對輸入空間的高效劃分。模糊神經網絡的性能和結構與輸入隸屬函數緊密相關。本文使用的是高斯隸屬函數，高斯函數輸出隨著與中心距離的增加而單調遞減。當輸入變量采用高斯隸屬函數時，則認為整個輸入空間由一系列高斯隸屬函數所劃分。如果某個新樣本位于某個已存在的高斯隸屬函數覆蓋范圍內，則該新樣本可以用已存在的高斯隸屬函數表示，不需要網絡生成新的高斯單元。

可容納邊界:對于第i個觀測數據(x?i，t?i)，計算第i個輸入值x?i與已有RBF單元的中心c?j之間的距離d?i(j)，即

d?i(j)=x?i-c?j;i=1，2，…，n; j=1，2，…，u(6)

其中:u是現有的模糊規則或RBF單元的數量。令

di，min=arg min(d?i(j))(7)

如果di，min>k?d，k?d=max[dmax×γ?i，dmin](8)

則說明已存在的輸入隸屬函數不能有效地劃分輸入空間。因此，需要增加一條新的模糊規則，否則，觀測數據可以由已存在的距離它最近的RBF單元表示。其中:k?d是可容納邊界的有效半徑;dmax是輸入空間的最大長度;dmin是所關心的最小長度;γ(0

2.1.3 誤差下降率

傳統的學習算法把誤差減少率(ERR)[5]用于網絡生長后的修剪過程，算法會因為修剪過程而增加計算負擔，降低學習速度。本文把誤差減少率用于生長過程形成一種新的生長準則，算法無須經過修剪過程，從而加速網絡的學習過程。

給定n個輸入/輸出數據對(x?i，t?i)，t=1，2，…，n，把式(3)看做線性回歸模型的一種特殊情況，該線性回歸模型為

t(i)=?uj=1h?j(i)θ?j+ε(i)(9)

式(9)可簡寫為

D=HΘ+E(10)

D=T?T∈R?n是期望輸出，H=φ?T∈R??n×u是回歸量，Θ=?W?T∈R?u是權值向量，并且假設E∈R?n是與回歸量不相關的誤差向量。

對于矩陣φ，如果它的行數大于列數，通過QR分解:

H=PQ(11)

可把H變換成一組正交基向量集P=[p?1，p?2，…，p?u]∈R??n×u，其維數與H的維數相同，各列向量構成正交基，Q∈R??u×u是一個上三角矩陣。通過這一變換，有可能從每一基向量計算每一個分量對期望輸出能量的貢獻。把式(11)代入式(10)?可得

D=PQΘ+E=PG+E(12)

G的線性最小二乘解為G=(P?TP)??-1P?TD，或

g?k=p?T?kDp?T?kp?k;k=1，2，…，u(13)

Q和Θ滿足下面的方程:

QΘ=G(14)

當k≠l時，p?k和p?l正交，D的平方和由式(15)給出:

D?TD=?uk=1g?2?kp?T?kp?k+E?TE(15)

去掉均值后，D的方差由式(16)給出:

n??-1D?TD=n??-1?uk=1g?2?kp?T?kp?k+n??-1E?TE(16)

由式(16)可以看到，n??-1?uk=1g?2?kp?T?kp?k是由回歸量p?k所造成的期望輸出方差的一部分。因此，p?k的誤差下降率可以定義如下:

err?k=g?2?kp?T?kp?kD?TD，1≤k≤u(17)

把式(13)代入式(17)可得

err?k=(p?T?kD)?2p?T?kp?kD?TD，1≤k≤u(18)

式(18)為尋找重要回歸量子集提供了一種簡單而有效的方法，其意義在于err?k揭示了p?k和D的相似性。err?k值越大，表示p?k和D的相似度越大，且p?k對于輸出影響越顯著。利用ERR定義泛化因子(GF)，GF可以檢驗算法的泛化能力，并進一步簡化和加速學習過程。定義:

GF=?uk=1err?k(19)

如果GF

2.2 參數調整

需要注意的是，不管是新生成的隱節點還是已存在的隱節點，都需要對網絡參數進行調整。傳統的方法是使用LLS[10]方法對網絡參數進行調整，本文提出使用EKF方法調節網絡的參數。由于LLS方法在確定最優參數時計算簡單、速度快，但該方法對噪聲敏感，其學習速度隨著信噪比的增加而下降。另外，與LLS方法相關的問題是其求解可能是病態的，這使得參數估計變得很困難。EKF方法由于其自適應過程比較復雜，計算速度沒有LLS方法快，但是EKF方法在噪聲環境下具有魯棒性，使用EKF方法可以實現一種健壯的在線學習算法。網絡參數可以用下面的EKF[11]方法進行調整。事實上，網絡的參數向量θ可以看做一個非線性系統的狀態，并用下面的方程描述:

θ?i=θi-1

t?i=h(θi-1，X?i)+e?i(20)

在當前的估計值i-1處將非線性函數h(θi-1，X?i)展開，則狀態模型可以重寫為

θ?i=θi-1

t?i=H?iθi-1+ε?i+e?i(21)

其中:ε?i=h(i-1 ，X?i)-H?ii-1+ρ?i。H?i是如下的梯度向量:

H?i=?h(θ，X?i)?θ|θ=i-1 (22)

參數向量θ使用下面的擴展卡爾曼濾波算法更新:

K?i=Pi-1H?T?i[H?iPi-1H?T?i+R?i]??-1

θ?i=θi-1+K?i(t?i-h(θi-1，X?i))

P?i=Pi-1-K?iH?iPi-1+Q?i(23)

其中:K?i是卡爾曼增益矩陣;P?i是逼近誤差方差陣;R?i是量測噪聲方差陣;Q?i是過程噪聲方差陣。

全局擴展卡爾曼濾波算法會涉及大型矩陣運算，增加計算負擔，因此可以將全局問題劃分為一系列子問題從而簡化全局方法。網絡的前件部分具有非線性特性，利用擴展卡爾曼濾波算法對其進行調整;網絡的后件部分具有線性特性，利用卡爾曼濾波算法對其進行調整，該方法等同于將全局方法簡化為一系列解耦方法，可以降低計算負擔。由于高斯函數的中心對系統的性能影響不明顯，為了簡化計算，只對高斯隸屬函數的寬度進行調整。

前件參數使用如下的擴展卡爾曼濾波算法更新:

K?δ?i=P?δi-1G?T?i[R?i+G?iP?δi-1G?T?i]??-1

δ?i=δi-1+K?δ?i(T?i-wi-1φ?i)

P?δ?i=P?δi-1-K?δ?iG?iP?δi-1+Q?i(24)

后件參數使用如下的卡爾曼濾波算法更新:

K?w?i=P?wi-1φ?T?i[R?i+φ?iP?wi-1φ?T?i]??-1

w?i=wi-1+K?w?i(T?i-wi-1φ?i)

P?w?i=P?wi-1-K?w?iφ?iP?wi-1+Q?i(25)

2.3 模糊規則的增加過程

在SFNN學習算法中，模糊規則增加過程如下:

a)初始參數分配。當得到第一個觀測數據(X?1，t?1) 時，此時的網絡還沒有建立起來，因此這個數據將被選為第一條模糊規則:c?0=X?0，δ?1=δ?0，w?1=t?1。其中δ?0是預先設定的常數。

b)生長過程。當得到第i個觀測數據(X?i，t?i)時，假設在第三層中已存在u個隱含神經元，根據式(4)(7)和(19)，分別計算e?i、di，min、GF。如果

e?i>k?e，di，min>k?d，且GF

則增加一個新的隱含神經元。其中k?e、k?d分別在式(5)和(8)中給出。新增加的隱含神經元的中心、寬度和權值賦值為:Cu+1=X?i，δu+1=k?0di，min，wu+1=e?i，其中k?0(k?0>1)是重疊?因子。

c)參數調整。當增加新神經元后，所有已有神經元的參數通過式(24)(25)描述的算法調整。

3 仿真研究

時間序列預測在解決許多實際問題中是非常重要的。它在經濟預測、信號處理等很多領域都得到了廣泛應用。

本文采用的時間序列由Mackey-Glass差分延遲方程產生，其方程定義為[5]

x(t+1)=(1-a)x(t)+bx(t-τ)1+x??10(t-τ)(27)

為了能夠與文獻[5，6]在相同的基礎上進行比較，取值?Δt=P=6，式(27)中的參數選擇為:a=0.1，b=0.2，τ=17。預測模型表示為

x(t+6)=f[x(t)，x(t-6)，x(t-12)，x(t-18)](28)

為了獲得時間序列，利用式(27)生成2 000個數據，式(27)的初始條件為:x(0)=1.2。為了訓練和測試，在t=124和t=?1 123之間選擇1 000個樣本作為式(28)的輸入/輸出樣本數據。使用前500個數據對作為訓練數據集，后面的500個數據對驗證該模型的預測性能。圖2顯示了SFNN生成的模糊規則數;圖3顯示了從t=124到t=623的訓練結果;圖4顯示了SFNN良好的預測性能。表1列出了SFNN與其他算法的比較結果。表1顯示，與OLS、RBF-AFS算法相比，SFNN具有最少的規則數、最小的誤差和良好的泛化能力，同時具有快速的學習速度。SFNN的快速性就在于:采用無須修剪過程的生長準則，加速了網絡學習過程;利用擴展卡爾曼濾波調整網絡的參數，可以縮短網絡的學習周期。從上面的分析可以看出，SFNN具有緊湊的結構、快速的學習速度、良好的逼近精度和泛化能力。

4 結束語

SFNN采用在線學習方法、參數估計和結構辨識同時進行，提高了網絡的學習速度。基于該方法生成的模糊神經網絡具有緊湊的結構，網絡結構不會持續增長，避免了過擬合及過訓練現象，確保了系統的泛化能力。

參考文獻

[1]

HUANG Huan，WU Cong-xin.Approximation capabilities of multilayer fuzzy neural networks on the set of fuzzy-valued functions[J].Information Sciences，2009，179(16):2762-2773.

[2]DENG Xing-sheng，WANG Xin-zhou.Incremental learning of dynamic fuzzy neural networks for accurate system modeling[J].Fuzzy Sets and Systems，2009，160(7):972-987.

[3]韋玉科，汪仁煌，李江平，等.一種新的數據智能化處理算法[J].計算機應用研究，2008，25(5):1328-1329.

[4]CHEN Sheng，HONG Xia，LUK B L，et al.Orthogonal-least-squares regression:a unified approach for data modeling[J].Neurocompu-?ting，2009，72(10-12):2670-2681.

?[5]CHEN S，COWAN C F N，GRANT P M.Orthogonal least squares learning algorithm for radial basis function networks[J].IEEE Trans on Neural Networks，1991，2(2):302-309.

[6]CHO K B，WANG B H.Radial basis function based adaptive fuzzy systems and their applications to system identification and prediction[J].Fuzzy Sets and Systems，1996，83(3):325-339.

[7]RIVALS I，PERSONNAZ L.A recursive algorithm based on the extended Kalman filter for the training of feedforward neural models[J].Neurocomputing，1998，20(1):279-294.

[8]SIMON D.Training radial basis neural networks with the extended Kalman filter[J].Neurocomputing，2002，48(1):455-475.

[9]WU Shi-qian，ER M J，GAO Yang.A fast approach for automatic ?generation of fuzzy rules by generalized dynamic fuzzy neural networks[J].IEEE Trans on Fuzzy Systems，2001，9(4):578-594.