普渡大學的 Saurabh Bagchi 教授解釋了 AI 黑匣子的用途以及研究人員為何轉向“可解釋的 AI”。
對於某些人來說，“黑匣子”一詞讓人想起飛機上的記錄設備，如果發生不可想像的事情，這些記錄設備對於事後分析很有價值。 對於其他人來說，它讓人聯想到小型、配備最少的劇院。 但“黑匣子”也是人工智能領域的一個重要術語。
人工智能 黑匣子 指的是具有用戶不可見的內部工作原理的 AI 系統。 您可以向他們提供輸入並獲得輸出，但您無法檢查系統代碼或產生輸出的邏輯。
機器學習是人工智能的主要子集。 它是生成式 AI 系統（如 ChatGPT 和 DALL-E 2）的基礎。機器學習包含三個組成部分：一個算法或一組算法、訓練數據和模型。
算法是一組過程。 在機器學習中，算法在對大量示例（訓練數據）進行訓練後學習識別模式。 一旦訓練了機器學習算法，結果就是機器學習模型。 模型是人們使用的。
例如，可以設計一種機器學習算法來識別圖像中的模式，而訓練數據可以是狗的圖像。 由此產生的機器學習模型將是一隻狗觀察員。 您可以將圖像作為輸入提供給它，並將圖像中的一組像素代表狗的位置和位置作為輸出。
機器學習系統的三個組件中的任何一個都可以隱藏起來，或者放在黑盒子裡。 通常情況下，該算法是眾所周知的，這使得將其放入黑匣子中的效率降低。 因此，為了保護自己的知識產權，AI 開發人員經常將模型放入黑匣子中。 軟件開發人員採用的另一種方法是隱藏用於訓練模型的數據——換句話說，將訓練數據放在黑匣子中。
黑盒子的對立面有時被稱為 玻璃盒. 人工智能玻璃盒子是一個系統，其算法、訓練數據和模型都可供任何人查看。 但研究人員有時甚至將這些方面描述為黑匣子。
那是因為研究人員 不完全明白 機器學習算法，尤其是 深度學習 算法，操作。 的領域 可解釋的人工智能 正在努力開發算法，雖然不一定是玻璃盒子，但可以被人類更好地理解。
跳出黑匣子思考
在許多情況下，有充分的理由對黑盒機器學習算法和模型保持警惕。 假設機器學習模型對您的健康做出了診斷。 您希望模型是黑盒還是玻璃盒？ 給你開療程的醫生怎麼樣？ 也許她想知道模型是如何做出決定的。
如果確定您是否有資格從銀行獲得商業貸款的機器學習模型拒絕了您怎麼辦？ 你不想知道為什麼嗎？ 如果你這樣做了，你可以更有效地對決定提出上訴，或者改變你的情況以增加下次獲得貸款的機會。
黑匣子對軟件系統安全也有重要影響。 多年來，計算領域的許多人都認為將軟件保存在黑匣子中可以防止黑客檢查它，因此它是安全的。 這一假設在很大程度上已被證明是錯誤的，因為黑客可以對軟件進行逆向工程——即通過密切觀察軟件的工作原理來構建複製品——並發現可利用的漏洞。
如果軟件在玻璃盒中，軟件測試人員和善意的黑客可以對其進行檢查並告知其弱點的創建者，從而最大限度地減少網絡攻擊。
Saurabh Bagchi 是電氣和計算機工程教授以及電氣和計算機工程學院的企業合作夥伴關係主任 普渡大學 在美國。 他的研究興趣包括可靠計算和分佈式系統。
每個工作日您需要知道的 10 件事直接發送到您的收件箱。 報名參加 每日簡報Silicon Republic 的重要科技新聞摘要。