看得見的算法才能信得過。
——唐納德·克努斯(Donald Knuth)，計算機科學家
離神秘每近一步，就離理解越遠一步……不可知性也許是具有自我意識、能夠自我完善的軟件的不可避免的結果。
——詹姆斯·巴拉特(James Barrat)，
《我們最後的發明：人工智能與人類時代的終結》
一個明媚的夏日早晨，按照約好的時間，你去一家評價很高的本地診所做常規體檢。你進門時感覺良好，然後抬起胳膊，說道：“醫生，我做這個動作時這兒疼。”醫生回答說：“那就別做這個動作了。”兩人一起笑出聲來。不過幾個檢測一做，你的情緒就變了。你的內科醫生，和藹可親的老卡爾弗頓·史密斯(Culverton Smith)有些壞消息要告訴你。
“恐怕你得塔帕努利熱(Tapanuli fever)的風險很高。”史密斯醫生說道，“這病是致命的，好消息是有種藥能預防這種病。我建議你立刻開始服藥。這藥會讓你頭暈、易怒、有時還會犯惡心。但和得這種病比起來都不值一提。”
你震驚了。“這種病我從沒聽說過。”他潦草書寫處方時你抗議道，“你怎麽知道我有得這種病的風險？”
史密斯醫生給你看了一張電腦打印出來的報告，滿紙都是費解的數字和術語。但他指著表格底部附近的一行文字：塔帕努利熱：17.88。“風險係數太高了，”他解釋，“我們要降到5以下，吃藥能管用。”
“但這數字是哪兒來的？”你問道。
史密斯醫生聳聳肩：“我們的新人工智能係統算出來的。這個係統最近太流行了，裏麵內置了1000名頂級診斷醫師的知識。它的結果沒什麽好質疑的。我是說，如果你還想活下去，最好照它的建議來。”
你帶著處方離開了。但在開車回家的路上，你無法決定是否要在藥房門口停車。你相信技術，相信機器學習的奇跡，可是你真的想忍受頭暈、易怒和惡心，隻為了不患上史密斯醫生的電腦軟件說你會得的某種未知疾病嗎？歸根到底，你信任那個算法嗎？