按
今天我們有了 Apple Watch 這樣的智能可穿戴設備，捏一捏，握一握拳就可以實現操控。而 VR 眼鏡加上 VR 手把，讓我們進一步利用身體的潛能去探索新的人機互動方式。即將發售的 Vision Pro 似乎更是利用計算機識別技術的高精度，來實現更流暢的手勢控制，嘗試丟掉手把，解放雙手，即解放身體。除了應用之外，我們有了 Switch，Wii 這樣的遊戲機，我們玩《健身環》《瓦里奧製造》《Nintendo Sports》《長號冠軍》這樣利用身體交互遊玩的遊戲。早在很久之前，我們就有了街機廳里的跳舞機，我們常常可以看到人們樂此不疲地踩踏會閃爍並生成音符的地板，並在跳舞機上發明了自己獨特的舞蹈。而這些都是人機互動技術探索的結果，過去的技術專家們不斷在尋找人類如何可能與計算機建立更直觀、有意義的交流方式，而其中一個很重要的核心便是人的身體。
之前我們做過一期播客《遊戲與身體現象學》和一期推文《計算機遊戲中的義肢控制現象學》，探索了遊戲與身體之間關系的理論基礎。而在這里譯介的兩部分內容，將延續我對身體-遊戲的思考和探索。第一部分選自媒介研究者馬克·漢森書《代碼里的身體》，他沿著麥克盧漢和身體現象學的思路，強調互動媒介擴展了人的身體和能動性。他批評對第一代 VR 僅將虛擬現實的思考停留在視覺和聽覺，好像戴個頭盔你就進入到了虛擬現實了，而忽略了身體的整體性。而漢森提到了 VR 發展歷史中的重要人物邁倫·克魯格，他首先提出了「人工現實」這一概念，並且克魯格和漢森一樣，都強調我們在人機互動的界面中不應否定人的自然身體。
這也是本篇譯介的第二部分，讓我們回顧一下克魯格的思考和作品，他提到自己恨透了人跟計算機之間交互只能用 100 多年前流傳下來的鍵盤，我們傻傻坐在桌前就只會動手指，我們明明還有整個身體呢！於是他在 70 年代開發了一套計算機系統《Videospace》，人們進入空間後便能在螢幕上看到自己躍動的剪影，並與其他人的剪影遊玩，活活一個當代藝術作品。而克魯格也說到，在他讀大學那會兒，計算機跟藝術還八竿子打不著，他也不是一個藝術家，但他確實被如約翰·凱奇這樣的藝術家所啟發。今天克魯格對身體和計算機交互的思考已經在現實中得到了許多印證，其中藝術和遊戲的探索動力在其中功不可沒。
另一方面，人機互動跟遊戲設計需要分開看待，雖然二者可以是疊加態。今天我們使用智慧型手機和 Macbook 的方式，比如兩指放大，三指滑動等等，在克魯格那個年代的人看來頗有趣味，當時克魯格也設計了兩指拖動小人的玩法。但現在這些交互方式，除非你依然用遊戲的心態去看待它，否則它就已經變成了日常，談不上趣味。
不要否定人的身體！這是我接下來想繼續研究和思考的方向。讓我們仔細回想下，相比起其他廠商，任天堂反倒可能是唯一一家在探索這條遊戲道路的大廠。於是我們發展出兩種遊戲的思考路徑，一種是端坐在螢幕前，使用手把或鍵盤滑鼠這類慣用的控制器遊玩的遊戲，一種是探索和開發身體潛能的遊戲，後者比較少人關注，但隨著 MR 技術發展的潮流，它會生發出許多可能性。
沙皮狗
落日間
Mark B. N. Hansen
馬克-漢森是杜克大學的文學教授，他的工作涉及多個學科，包括文學研究、電影與媒體、哲學（尤其是現象學）、科學研究和認知神經科學。
Myron Krueger
邁倫·克魯格是一位美國計算機藝術家，開發了早期的互動作品。他也被認為是第一代虛擬現實和增強現實研究人員之一。
ALL REALITY IS MIXED REALITY 所有現實都是混合現實
根據《紐約時報》最近的一篇文章（2005），電視在近未來將征服虛擬現實，VR 由於其笨重的設備和高昂的成本，我們已經習慣於把它與知覺現實（perceptual reality）區分開來。文章指出，雖然我們「從三維來觀察世界」，但「在歷史的大部分時間里，我們只能用二維來描繪它」。 盡管再現主義（representationalism）的這一致命弱點長期以來一直激勵著人們在欺騙知覺這方面做實驗——事實上，西方藝術的整個傳統都可以歸功於此——但只有在過去的半個世紀里，科學和藝術的注意力才集中在對知覺現實的完全模擬和三維圖像的投影上。然而，這種關注的成果最近經歷了一場小革命，正如文章指出：
直到最近，還沒有人想出比戴上傻乎乎的眼鏡更好的辦法來解決這個問題。當漫遊者號從火星發回圖像時，美國國家航空航天局的科學家們戴著與 50 年代電影宮里的觀眾觀看《來自外太空的聲音》（It Came from Outer Space, 1953）時所戴的一樣的眼鏡來研究這些圖像。在工業領域，這種情況一直在發生變化，因為所謂的立體成像已經成為一項大業務，從進行分子測繪的藥物研究人員到打造明年 SUV 的汽車設計師……不斷發展的高科技革命終於將 3D 娛樂推向了下一個階段。
文章接著解釋說，立體成像利用一種叫做「多路復用」（multiplexing）的原理產生「自然的三維」。多路復用技術在三維感知方面的作用與電影和錄像在二維感知方面的作用相同：通過每秒提供 300 個圖像（每秒從 10 個不同角度提供 30 個圖像），它在先前技術所產生的連續運動幻覺的基礎上增加立體或深度。隨著家庭娛樂設備速度的不斷提高，三維內容的傳輸現已變得切實可行，盡管其實現似乎還遙遙無期。
至少對我來說，這個故事特別有趣的地方是它與最近虛擬現實研究和藝術實驗中出現的更具體「混合現實」（MR）範式的一致性（借用藝術家 Monika Fleischmann 和 Wolfgang Strauss 的說法）。今天的藝術家和工程師已經厭倦了離身超越（disembodied transcendence）的陳詞濫調，也厭倦了頭戴式顯示器和其他界面技術的龜速發展，他們設想不同領域能流暢地相互滲透。要將 VR 重新想像為 MR 舞台的核心，需要對虛擬有某種規范。虛擬不再是一個完全不同的領域，如果說它在很大程度上是一個無定形的領域，有它自己的規則，那麼它現在指的是一個「充滿信息的空間」，它可以「在用戶瀏覽……真實空間時，被激活、揭示、重新組織和組合、添加和轉化」。
在這種重新想像中，最引人注目的是身體在虛擬界面中所扮演的核心角色。隨著物理和虛擬空間的融合影響著當今的企業和娛樂環境，研究人員和藝術家逐漸認識到，運動行為（而不是再現主義者說的逼真性）是虛擬和物理領域之間流暢和功能交叉的關鍵。 在混合現實運動的立場聲明中，弗萊施曼和施特勞斯談到「它徹底顛覆了那種人類正在因技術而失去身體的理論」； 在他們看來，「互動媒介正在支持身體的多感官機制，從而擴展了人類玩耍和行動的空間」（Grau，219）。
可以肯定的是，這種對具身運動活動重要性的認識，只是在更廣泛的范圍內認可了邁倫·克魯格（Myron Krueger）等早期虛擬現實先驅以及保羅·巴赫（Paul Bach）和麗塔（Paul Bach y Rita）等前沿感知研究人員的立場——他們堅持認為我們以眼睛為中心的形上學傳統及其再現主義美學是非常貧瘠的。 從這些以及志同道合的藝術家和工程師所開辟的立場來看，當代消費電子產品真正新穎和有前途的，並非是它們可能創造更加身臨其境的虛擬空間，而是相反，它們擴張了人類能動性的范圍。
因此，處理速度的大幅提高帶來了當今的微計算革命，與其說是為了重振「完美模擬」之夢，不如說是為物理和虛擬空間提供了更廣泛、更流暢的功能性相互滲透。 盡管今天的風險投資家傾向於提及「人類正向著更加成熟的再現現實進化」，但對於像邁倫·克魯格這樣的媒體藝術家來說，三維模擬的發展讓我們接觸到了我們最原始的感知能力 「……人機界面正在朝著更自然的信息發展。三維空間比二維空間更直觀……我們的生物進化使我們理解了三維世界，所以 3D（比 2D）更原始，而不是更先進。」
因此，盡管克魯格和今天的風險投資家都渴望有一個更符合自然直覺的界面，但他們各自對如何實現這一願望的理解卻截然不同。對於風投而言，「自然的 3D」代表著更加身臨其境、數據豐富的「視覺」模擬。 相比之下，克魯格認為，「自然的信息」（natural information) 是指通過我們與世界的自然界面（即具身的，知覺運動）的擴展而產生的信息。
通過捕捉當代媒介技術進步中工業興趣和審美興趣之間的差異，該區別完美地表達了混合現實作為第二代虛擬現實研究的定義原則：它迴避再現主義，擁抱根植於現實的功能主義觀點。 在知覺運動活動中。 出於這個原因，今天的 MR 運動與克魯格長期以來所說的「人工現實」（Artificial Reality 與他而言與『Virtual Reality』一詞同義的頭戴顯示設備範式『HMD』相反）有著密切的關系。 事實上，正如我將在第一章中論證的那樣，克魯格是整個混合現實範式的鼻祖。
因此，克魯格最近描述這種術語差異的方式非常讓人想起後者對早期虛擬現實概念的挑戰，這也就不足為奇了：「雖然 HMD 黨認為 3D 景觀是現實的核心本質，但我覺得身體參與的程度是沉浸感的衡量標準」。根據克魯格的說法，身體參與的關鍵要素之一是沒有身體負擔，並且，為了證明他的先見之明，現在的混合現實在我們的世界中無處不在，確實需要一個無阻礙的界面。克魯格的「人工現實」替代願景理論已經在當今的混合現實環境中找到了實際成果，並且 VR 的「第一代」模型——作為一個離身的，脫離物理限制的超空間——已經不再有任何購買的吸引力。
從混合現實的這一定義原則出發，可以得出幾個重要的推論，使其有別於早期的 VR 概念和技術前身。首先，MR 範式從根本上重構了虛擬現實的一個特徵，即希望與自然感知完全融合。正如吉爾·德勒茲（Gilles Deleuze）針對柏格森（Bergson）對「電影幻覺」（cinematic illusion）的批判所強調的那樣，虛擬現實的功能就是打破自然感知。
這樣的斷裂（至少在德勒茲的解讀中是這樣）賦予了電影從非人類視角展現世界的能力，從而打開了一種恰如其分的自主性機制；相比之下，功能上的同源性，將 VR 技術與自然感知聯系起來，發展出一種假肢，其技術核心功能是擴大自然感知的范圍。虛擬現實以其幻想而非現實的形式運作，或更確切地說，將像神經科學家安東尼奧·達馬西奧（Antonio Damasio）的意識外化類比那樣：如果意識可以比作一部沒有外部觀眾的「顱內電影」，那麼虛擬現實將包括類似於一部顱外電影的東西，同樣重要的是，沒有外部觀眾。
混合現實範式與這種幻想最顯著的不同之處在於，它部署了 VR 技術和感知之間的功能同源性：而不是將虛擬視為一種完全的技術擬像（technical simulacrum）以及沉浸式的、獨立的幻想世界之展開， MR 範式將其視為可以通過具身感知或行動來訪問的另一個領域（Varela）。 如此一來，重點不再是虛擬的「內容」，而是虛擬的「訪問方式」，不再是對世界的感知，而是它最初是如何被感知的。
坦率地說，新的混合現實範式突出了身體在誕生世界時的構成性或本體論作用。 對於今天的研究人員和藝術家來說，虛擬現實強調了身體的功能，用現象學家莫里斯·梅洛-龐蒂的話來說，身體就是「立即被給予的不變量」（immediately given invariant）「世界的首要接口」「存在於世界中的載具」。 身體構成了一個終極背景，一個絕對的背景，所有的感知體驗都必須以身體為導向。 這就是為什麼 VR 包含了「身體」的現實測試；正如哲學家阿蘭·米隆 (Alain Millon) 指出的那樣，它「建立了約束機制，使我們能夠更好地理解事物的局限性和身體的弱點（和身體的力量）」。
對混合現實功能主義觀點的進一步推論緊隨對具身的本體論或構成性功能：運動自身作為感知的身體（或更准確地說是觸覺）面孔的作用。 就其產生加倍的感知而言，這種觸覺維度可以為外部感知體驗（無論是『物理的』還是『虛擬的』）給身體予感覺的現實。 它產生了一種感知的感覺關聯，這是功能主義對具身能動性理解的一部分。 1. 身體作為本體論進入世界的首要地位，2. 觸覺在實現這種進入中的作用，這兩個推論影響了迄今為止我所關注的公理——所有虛擬現實都是混合現實——到更普遍的公理，即「所有」現實都是混合現實。
從某種意義上說，這段話只是認識到了如布萊恩·馬蘇米（Brian Massumi）所說的，我們可以認為模擬技術的優先級（或『優越性』）——尤其是在數位技術發揮作用的地方，但模擬絕不是唯一的。
感覺總是在轉化外部，轉化思想。感覺就是一種模擬。這是一種接近技術意義上的模擬（analog），是一種連續可變的沖動或動力，可以從一種質地不同的媒介進入另一種媒介。就像電能轉化為聲波，或熱能轉化為痛感，或光波轉化為視覺，或視覺轉化為想像，或者耳朵里的噪音變成心里的音樂，或外部進入內部，可變的連續性跨越質的差異：一種轉化的連續性。(135)
從這個意義上理解，模擬就是在各種領域的融合、混合、轉化中創造現實的；毫不奇怪，身體構成了模擬的主要媒介：「如果說感覺是身體-物質（body-matter）利用持續轉化力的模擬處理過程，那麼其中最重要的就是這種力的顯現：進入存在的力，成為生成的力。身體是變化的傳感器，是虛擬的轉換器」（135）。
在這一理解的背景下，與具體虛擬區域的感官整合或界面將構成一種更普遍的感官模式的一個（闡釋性）實例：外部和虛擬的力的轉換整合。這就是為什麼馬蘇米對虛擬現實的模擬構想，完美地預見了當代向混合現實範式的轉變：
早期虛擬現實系統限制視線的頭盔已經讓位於沉浸式的交互環境，這種環境能夠解決視覺以外的感官問題，並能更靈活地將各種感官模式相互連結，在數字輔助的體驗領域中融入更多的感覺（sensation），從而有了更多潛能。(142)
因為體驗本身是「模擬處理的」，所以虛擬現實（在狹義的技術意義上）與其他體驗在類型上沒有區別； 再次強調，所有現實都是混合現實。
邁倫·W·克魯格和人工現實
20 世紀 70 年代，美國計算機藝術家邁倫·W·克魯格（Myron W. Krueger）在威斯康星大學麥迪遜分校和康乃狄克州斯托爾大學工作，開發出了《Videoplace》，首次允許用戶與虛擬物體進行交互。它建造了一個人工現實場景（artificial reality），環繞在用戶周圍，對他們的動作行為做出反應，無需使用 VR 眼鏡或手套。
《Videoplace》用投影儀、攝像機、還有一些特殊硬體，以及螢幕上的參與者剪影，將用戶置於互動環境中。計算機用相機分析的參與者的動作和位置，將數據轉移到人工現實的網絡連接上，投影出參與者粗糙但有意思的的剪影，參與者可以在螢幕上直觀地看到自己的動作結果。如此一來，即使沒有直接的觸覺反饋，參與者在與螢幕上的物體和其他參與者互動時也會有一種臨場感。《Videoplace》目前在康乃狄克大學的州立自然歷史博物館永久展出。
1983 年，克魯格出版了一本名為《人工現實》的書，並於 1991 年更新了第二版。該書是有關虛擬現實或人工現實的開創性論文之一。
「人工現實作為一種新的美學媒介」
超越闡釋
奇怪的是，藝術史，藝術評論家，還有藝術愛好者，都在某種規訓下感受藝術。一而再再而三，人們離開《GLOWFLOW》《METAPLAY》《PSYCHIC SPACE》（克魯格的互動媒體作品），然後說，「我真的很喜歡這個，但它是什麼意思？」出於某些原因，他們認為正在發生的一切應該立刻被還原為文字。事實上，人們有一種把事件當做文字來接受的傾向，他們想要描述這些事件。而有一種媒介可以抵抗這種闡釋傾向。人工現實可以根據個體做出響應，並阻擾分析。如果每個人都有不同的體驗，每個人都能多少避免來自「正確解釋」的壓力。因為每個人在這個空間中的移動都不一樣，每個人都會接收到不同的反饋，哪怕這背後的程序都是一樣的。如果這個環境中有許多程序替代控制了整個環境，那麼每個參與者的冒險都將獨一無二。所以，兩個人可以交流他們的體驗，但因為他們沒有共同的經驗，他們到最後都無法分析發生了什麼。
另一個強調多樣變化的原因，就是去抵抗藝術家尋找單一的、好賣的風格的傾向。一旦藝術家發現了一種風格，藝術家就會僅僅是重復它，他擔心自己如果嘗試了一種新風格，新風格可能不會成功。實際上並沒有要去給作品簽名的必要，作品本身就是一個簽名，百步之內都可辨認，就像是一個美學 logo 一樣。Joan 和 Russell Kirsch 開發了一款軟體，能夠以 Richard Diebenkorn 的繪畫風格來生成新的作品。他們聲稱，如果計算機能復制一個藝術家的風格，並用它創造新的作品，那麼這個藝術家的技能就平平庸庸，無異於寫一個程序。然而，Diebenkorn 的成就是發明了這種風格。只有一個藝術家在此之後不斷重復自己時，Kirsch 的批評才有效。
主動藝術 vs 被動藝術
我們所有的傳統藝術都有如下共同特徵：它們假想一個被動的觀眾。大多數人平時累壞了，被動理所當然。然而，經過幾個世紀的努力，我們幾乎消除了體力勞動的必要性。諷刺的事，既然我們的身體需要一定的運動才能保持健康，我們就面臨著一個新的問題——如何讓我們的生活更加活躍。體育運動滿足了一些人的這一需求，但新的藝術和娛樂形式也有用武之地，它們讓我們的身體參與其中，而不是剝奪身體。
響應就是媒介！
人工現實是一種新的藝術媒介，它致力於人與機器之間的實時互動。這種媒介包括感知、顯示和控制系統。它接受參與者的輸入，然後做出響應。人們可以識別出這些與他們的行為相對應的方式。輸入和輸出之間的關系是可變的，藝術家可以在參與者的行為和感知到的結果之間干預，例如，參與者的肢體動作可以發出聲音，或者他們的聲音可以用來瀏覽計算機定義的視覺空間。重要的是行動與反應之間的對話，而視覺和聽覺響應的美感則是次要的。響應就是媒介！
原則上，感知系統（perceptual system）可以對你的聲音位置、體態、動作或手勢做出響應。它還可以對你上次移動後的時間、你進入環境後的時間，或你的一般移動速度做出反應，它還可以對你的身高、頭發、膚色或面部表情做出反應。如果人工現實中存在幾個人，它可以對他們各自或他們之間的某種關系做出反應，也可以對圖形世界中的個人、圖像和物體之間的關系做出響應。感知系統定義了有意義的交互，而（靜態）展品卻無法對感知做出響應。
螢幕為交互提供一個了語境，並確定參與者的行為與其感知到的後果之間的關系。該語境是一種人工現實，藝術家組織了其中的因果律。如果展示只是以視覺和聽覺的形式呈現的話，那麼這種媒介並不重要，因為藝術家完全有能力選擇其他各種媒介做有效呈現。眾所周知，復制並不會產生新的東西。而探索未知、有待檢驗，這正是響應式美學的有效之處。
控制系統確定對參與者動作的恰當響應，並生成該響應。事實上，硬體傳感器、顯示屏和處理器的集合體可被視為一種工具，不同敏感度的藝術家可對它們編程，以創造完全不同的體驗。這些藝術家必須在追求有趣的關系與承諾實時響應之間取得平衡。
我們可以通過如下幾種方式思考人工現實：
1971 年，克魯格創作了《心理空間》（Psychic Space）。《心理空間》是一個具有兩種功能的環境： 它是「一種音樂表達工具，也是一種要素豐富、高互動性的視覺體驗」。《心理空間》的地板被劃分為音樂/聲音鍵。 人每走一步，就會觸發不同的音符或聲音。 參與者在房間里行走、跳躍和奔跑，對環境進行探索和實驗。 後來，克魯格增加了一項新功能，即在用戶和計算機之間建立實際交流： 如果一個人在音符之間停頓了一下，電腦就會再次重復音符。 「如果人在停頓期間保持不動，計算機就會判定參與者已經理解了這種交互……人們希望這種人機對話類似於吉他二重奏」（382）。
《心理空間》的第二個特點是迷宮程序。 人在房間里的位置由投影螢幕上的一個小符號表示。 人在房間里的身體移動會導致螢幕上的符號相應移動。 通過在螢幕上放置另一個物體，克魯格能夠讓參與者向其移動，進而觸發迷宮的出現。 根據參與者在房間里所處的位置，迷宮會有相應的變化，阻擾參與者，讓他不會馬上成功。 通過這種方式，用戶和計算機相互做出各自的響應。(末尾兩段均為譯者注）
參考文獻
日 | 落譯介計劃 是數字人文實驗室落日間對一些有助於思考遊戲/電子遊戲的外文文本翻譯和推薦/索引計劃。（請查看網站 xpaidia.com/sunset-project/）。
E43 遊戲與身體現象學
Brendan Keogh 穿越世界和身體 Across Worlds and Bodies (2014)
Rune Klevjer 計算機遊戲中的義肢控制現象學 Enter the Avatar (2012)
感謝支持落日間的朋友們！
歡迎贊賞或贊助落日間，加入內測計劃，查看並且優先參與落日間正在進行的其他未公開項目，並且每周收到至少一篇我們情感異樣豐富的小作文。詳情可點擊閱讀原文，或進入：xpaidia.com/donation
來源：機核
