1，什么是馬爾可夫決策過程

馬爾可夫決策過程是研究隨機環(huán)境下多階段決策過程優(yōu)化問題的理論工具，在過去的幾十年中，隨著生態(tài)科學、經(jīng)濟理論、通訊工程以及眾多學科中需要考慮不確定因素和序列決策問題的大量新模型的涌現(xiàn)，進一步刺激了馬爾可夫決策過程在理論上和應(yīng)用領(lǐng)域中長足發(fā)展50年代r.貝爾曼研究動態(tài)規(guī)劃時和l.s.沙普利研究隨機對策時已出現(xiàn)馬爾可夫決策過程的基本思想。r.a.霍華德(1960)和d.布萊克韋爾(1962)等人的研究工作奠定了馬爾可夫決策過程的理論基礎(chǔ)。1965年，布萊克韋爾關(guān)于一般狀態(tài)空間的研究和e.b.丁金關(guān)于非時齊（非時間平穩(wěn)性）的研究，推動了這一理論的發(fā)展。1960年以來，馬爾可夫決策過程理論得到迅速發(fā)展，應(yīng)用領(lǐng)域不斷擴大。凡是以馬爾可夫過程作為數(shù)學模型的問題，只要能引入決策和效用結(jié)構(gòu)，均可應(yīng)用這種理論。

2，什么是 邊際收益遞減

　　通俗地講：當你極度口渴的時候十分需要喝水，你喝下的第一杯水是最解燃眉之急、最暢快的，但隨著口渴程度降低，你對下一杯水的渴望值也不斷減少，當你喝到完全不渴的時候即是邊際，這時候再喝下去甚至會感到不適，再繼續(xù)喝下去會越來越感到不適（負效用）。 　　另一種解釋方法：你開了個小作坊，每天可以產(chǎn)出5件商品，那么效率是5件/天。你的生意越做越大，需要找來幫手，于是現(xiàn)在變成了2個員工。人多了，工作時聊天誤工、兩個人相互推托依賴，都希望自己偷偷懶、省省力，于是效率變成了4.5件/天，在工資等激勵制度不變的情況下，產(chǎn)出效率會越來越小。這就是邊際效用遞減規(guī)律在生活中的2則實例。 　　可以用各種理由來解釋邊際效用遞減，但最重要的是一種生理解釋。效用，即滿足程度是人神經(jīng)的興奮，外部給一個刺激（即消費某種物品給以刺激，如吃面包刺激胃），人的神經(jīng)興奮就有滿足感（產(chǎn)生效用）。隨著同樣刺激的反復(fù)進行（消費同一種物品的數(shù)量增加），興奮程度就下降（邊際效用遞減）。這個規(guī)律對我們理解消費者的消費行為非常重要。 　　消費者購買物品是為了從消費這些物品中得到效用，這樣，消費者為了購買一定數(shù)量物品所愿意付出的價格就取決于他從這一定數(shù)量物品中所得到的效用。效用大，愿付出的價格高；效用小，愿付出的價格低。隨著消費者購買某物品的數(shù)量增加，該物品給消費者帶來的邊際效用是遞減的，這樣，消費者所愿付出的價格也在下降，所以，需求量與價格成反方向變動。