当為性
では、「廊下禁令」と「空飛び禁令」の分水嶺はどこにあるのでしょうか。「廊下禁令」にあって、「空飛び禁令」にはないものは何でしょうか。それは第一に、「できるのに、あえてしない(ないしは、しなかった)」という事態です。廊下禁令の場合、多くの人は「廊下を走ることもできたのに、あえてそうはしなかった」のに対し、空飛び禁令には、「空を飛べるのに、あえてそうしなかった」という事態が欠けていたのです。
「できるに、あえてしない」ことを行為者に命じている禁則が道徳的要請なのです。
「できるのに、あえてしない」、さらに言えば「したくとも、あえてしない」という、言わば「痩せ我慢の気概」を行為者に求めていることが、規則を道徳禁令たらしめているのです。
禁則について言えることは、「するべき」という積極的な命令にも、そのまま当てはまります。積極的命令における「痩せ我慢の気概」とは、「しないこともできたのに、あえてする（した）」ことなのです。
以上に加えて、道徳的命令は、なぜ「できるのに、したいのに、あえてしない」のか、その、そもそもの理由についても「痩せ我慢」することも行為者に求めています。
例えば、「廊下を走らないこと」が「端的に良いこと」だからではなく、巡り巡って自分の利益のためになるから「あえて走らなった」人は、この「理由についての痩せ我慢」を怠っていることになります。そのような人は、本当に道徳的禁令に従っていたとは言えないことになるのです。
ちなみに、僕の立場から言えば、「端的に良いこと」とは、「われわれ」を全体主義から救うことです「それをしてしまうと、「われわれ」がより全体主義的になってしまうので、あえてしない」という理由が、痩せ我慢の要請にのっとった「正当な理由」ということになります。
以上をまとめると、行為と理由についての二つの「痩せ我慢」を要請しているのが道徳的命令だということです。
このように、単に事実として「あることをしない（ないしは結果として「していない」）」のではなく、「できるのに、ないしはしたくとも、あえてしない（「していない」）」という行為や行為者のあり方を、ここでは「当為性（とういせい）」ないしは「べき性」と呼んでおきましょう。
「当まさに為（な）すべき」、「すべし」、「すべき」、「あるべし」、「あるべき」という道徳命令でしばしば用いられる「当為」表現には、このような「痩せ我慢の気概」が込められていると思われるからです。
事実を表す「である」と当為を表す「あるべき」は、英語の to beとought to be、ドイツ語のsein（ザイン）とsollen（ゾレン）に相当します。道徳的命令、ひいては道徳性一般の本質は、このような当為性にあるとする倫理学の立場は、「当為」のドイツ語表現を用いて「Sollenethik（ゾレンエチーク）」ないし「当為倫理学」と呼ばれます。
「道徳性とは何か」についても数多の考え、立場があります。「痩せ我慢の気概」としての「当為」を道徳性のコアとみなすゾレンエチークもそのうちの一つです。ここで僕は、その当為倫理学の立場をとっているのです。
ちなみにゾレンエチークの「言い出しっぺ」の一人が本講義にも再三登場しているカントです。ただ、カントの当為倫理学は、「わたし」の自律性概念を前提しています。それは自律型のゾレンエチークなのです。それに対して、僕は、そもそもそのような自律性概念は採用せず、代わりに「自律性をめぐるゼロサムゲームから降りること」としての協調性を採用していました。僕の立場は協調型ゾレンエチークなのです。
モラルベンディングマシーンに話を戻しましょう。道徳自動販売機は、このような 「できるのに、あえてしない」ないしは「しないこともできたのに、あえてした」という「痩せ我慢の気概」としての「当為性」を欠いた装置です。それは空を飛べない 僕らが結果として「空飛び禁則」を守っていたのと同じ仕方で、道徳的によい行為をアウトプットしているだけなのです。
ゾレンエチークの観点に立てば、それは道徳的エージェントとは呼べない代物なのです。「よいこと」しかできない自動運転AIは、結果として交通規則やマナーを完全に遵守していることは確かですが、当為性を備えた道徳エージェントではなかったのです。
悪に開かれたAI
第二講で触れたように、「痩せ我慢の気概」としての当為性を備えた道徳的AI、ひいては人間をも含めた道徳エージェント一般は同時に、悪い結果を避けることもできたのに、「あえて」ないしは「わざと」ないしは「ついつい」ないしは「知らず知らずに」、悪いことをしてしまう、道徳的弱さ、脆弱性を抱えたエージェントでもありました。
それは「できるのに、しなかった存在者」「やめられたのに、やらかしてしまった存在者」になりうる危険性をつねに抱えている存在、端的に言って、悪いこともできてしまうエージェントなのです。
このように人間を、当為性を備えた道徳エージェントとして捉えることは、人間が悪に開かれた存在であることを公認することを意味します。そして人間が、このように悪事をも行う存在であることは、致し方ない事実として受忍されていると思われます。悪事を行いうることを理由に、人間の存在を否定したり、その根絶を図ろうとする意見は、あったとしても少数派でしょう。
一方、AIについては少々事情が異なるように思えます。人間には認められていた「悪いことをする可能性」を、AIに対しても認めることに二の足を踏む人も多いのではないでしょうか。
このような「悪いこともできる人工物」や「悪の可能性を持ったAI」に対する警戒感や拒否感が社会に広く共有されているように思われるのです。このような警戒感や拒否感は、人間の道徳エージェンシーは認めても、AIに対しては道徳的エージェンシーを認めないという態度につながると思われます。
確かに、自動運転AIのように、「悪い行為」が人や社会への危害に直結するようなケースについては、僕も、「悪に開かれたAI」の存在に反対です。このような 「シビアな悪に開かれたAI」は明確に拒否されるべきだと思います。
一方、他愛のない悪ふざけ、罪のない嘘、軽微なルール違反といった、人間誰しも身に覚えがあるであろう「マイルドな悪」への関与については話は別です。人間に対しては、それを苦笑しつつも許すが、AIやロボットに対してはそれを断じて認めない。そういった非対称的で差別的な態度が見受けられるとすれば、それは問題だと僕には思われます。
人間の「マイルドな悪」を許容するのならば、AIのそれも許容すべき。言い換えると、そのようなマイルドな悪に開かれている道徳的人間の存在を受容するのならば、同じくマイルドな悪に開かれている道徳的AIをも認めるべきだと思われるのです。
ということで以下では、マイルドな悪に開かれた道徳的AIの存在を擁護する議論を展開してみたいと思います。
ただし僕としては、このようなAIを作るべきだという強い主張をするつもりはありません。あくまで、それは許容可能だとのみ言いたいのです。
AIディストピア
たとえマイルドな悪事だったとしても、とにかく悪いことをやりかねないAIを生み出すことは危険きわまりない。当為性を持った道徳的AIが、そのような存在であるならば、道徳的AIなど作る必要はないし、また作ってはならない。
このような悪に開かれたAI、従ってまた道徳的AIに対する拒否感の背後には、AIに少しでもスキを見せたら、それらはそのうち人間以上の悪知恵を働かすようになり、ついには人間を支配しようとするのではないかという、「歯止めが効かない論」ないしは「滑り易い斜面（slippery slope）」の論理（※2）が見え隠れします。
undefined
※2 「滑り易い斜面（slippery slope）」の論理：あることが道徳的・法的に許されないことを示すために使われる論法であり、「比較的小さな最初の一歩を踏み出すと、連鎖的にもっとも悪い結果にまでエスカレートしてしまう。だから、最初の一歩を踏み出すべきではない」という形式を持つ。論理的には誤っているレトリックである。
AIに対して歯止めが効かなくなってしまった「現実」は、人間より優れた知性を持つにいたったAIが、人間に危害を加えたり、人間を支配しようとしたりする「AIディストピア」として、SF作品において、繰り返し描かれてきました。単にマイルドな悪の可能性を伴ったAIのみならず、AI一般に関する人々の漠然とした恐怖心、警戒感を、これらの作品は見事に捉えています。
また逆に、これらの作品が人々のAIに対する恐怖心、警戒感を育んできたとも言えます。両者は、言わば相互亢進、共進化の関係にあったのではないでしょうか。
このようなAIディストピア作品の古典的な例としてはスタンリー・キューブリック監督の『2001年宇宙の旅』が挙げられます。この映画では、人間顔負けの狡知を獲得したAI「ハル（HAL）」が人間に反逆する様がスリリングに描かれていました。
二つの思考実験
このようなSF作品と手に手を携えてきたAIへの警戒感、恐怖心、言わば「AI恐怖症（フォービア）」への処方箋として、ここで二つの思考実験を行なってみましょう。
まずは人間の子供について考えましょう。子供は、大人にとっては差し合って無害な存在です。その知性や悪知恵や狡知も大人に比べればまだ大したことはないでしょう。しかし子供は、そのうち知力でも体力でも大人を追い抜いていきます。数十年後、今や老いた大人と今や大人になった子供たちの立場が逆転し、後者が前者を迫害したり支配したり抹殺しようとしたりする可能性があります。なので、今のうちに、そのような将来の脅威となりうる子供を排除しておくか、それとも、そもそも子供をつくらないようにしておくべきでしょう。
次はAIについてです。現在のAIは、人間にとっては差し合って無害な存在です。その知性や悪知恵や狡知も人間に比べればまだ大したことはないでしょう。しかしAIは、そのうち知力で人間を追い抜いていく可能性を秘めています。そう遠くない将来、シンギュラリティが到来し、AIの知性が人間のそれを凌駕することで、AIが人間を迫害したり支配したり抹殺しようとしたりする可能性があります。なので、今のうちに、そのような将来の脅威となりうるAIを排除しておくか、それとも、そもそもそのようなAIをつくらないようにしておくべきでしょう。
さて、ここで問題です。第一の子供に対するシナリオは倫理的に許容できるでしょうか。
多くの人の答えは「NO」だと思います。
確かに子供は、将来、大人より力をつけ、大人を虐待するようになるかもしれません。だからと言って子供を排除したり、そもそも子供をもうけないという選択肢は取るべきではありません。
取られるべき選択肢は、むしろ、そのような危険性があるからこそ、大人は、子供を大切に扱い、復讐心を抱かせるような態度を取らず、将来大人より力をつけたとしても大人を ろにせず、むしろ年老いた大人たちの面倒を見てくれる優しい人間へと育て上げるべきだ。おそらく、これが正論でしょう。
ではAIについては、どうでしょうか。
AIについても上の「正論」と同様の次のようなシナリオを提示することが可能です。すなわち、将来の人間の脅威となる危険性があるからといってAIを排除したり初めから作らなかったりするのではなく、たとえAIが人間の知性を凌駕する日が来たとしても人間を虐げないようAIを大切に扱い、「よいわれわれ」を築くために人間と共に協働するようにAIを育成していくべきだというシナリオです。
もしあなたが、子供についての「正論」には同意しつつ、AIに関する同様のシナリオには抵抗感を感じたとしましょう。その理由ないしは原因は何でしょうか。
いま、その理由が、子供と違ってAIはロボットと同様、人間の「奴隷」にすぎないからというものだったとしましょう。第五章で論じたように、そのようなAIの奴隷視自体、WEターンの下では否定されるべき見解だったのでした。
またもし、あなたの抵抗感の背後に「子供は自分と同じ人間である一方、AIは人間でも生物でもない人工物にすぎないから」という理由が潜んでいたとしたら、それは「自然種差別主義（natural speciesism）」とでも呼べる不当な理由に他ならないのではないでしょうか。
かつてピーター・シンガー（※3）は、種が違うという理由にのみもとづいて、人間とその他の動物の扱いを変える態度を「種差別主義(speciesism)」と呼んで批判しました。もちろん、これは、「人種」が違うという理由にのみもとづいて「異なった人種」に対して差別的な態度をとる「人種差別主義（racism）」にちなんで作られた用語です。
undefined
※3 ピーター・シンガー：哲学者、倫理学者。1946年、オーストラリア生まれ。功利主義の観点から動物の権利を擁護する議論を展開している現代英語圏を代表する倫理学者。
ここで言う「自然種差別主義（natural speciesism）」とは、これらと類比的な立場で、生物種と人工物(ないしは人工的な種)という違いのみを理由として、両者の扱いを変えるという、これまた一つの差別的な立場に他なりません。
このように見てくると、「マイルドな悪に開かれたAI」ひいてはAI一般に対する警戒感や拒否感の背後には、結局、「主人/奴隷」モデルにせよ、自然主差別主義 にせよ、正当とは言えない立場が潜んでいたということになります。 もし、そうだとすれば、その警戒感や拒否感を克服し、「マイルドな悪に開かれたAI」、ひいてはAI一般について、よりオープンな態度、つまりそれを人間の子供と同様に、「シビア（原文では点で強調）な悪に開かれたエージェント」にならないよう育成していくという道も考慮すべきオプションとして浮かび上がってきます。「マイルドな悪に開かれたAI」でもある「道徳的AI」を許容する道が開かれるのです。
悪行フィルター
以上の議論で、「痩せ我慢の気概」としての当為性を備えた道徳的AIが許容される可能性が担保されたとしても、そもそも、そのようなAIひいては人工物を作ることは技術的に可能でしょうか？ゾレンエチークの立場に立っても、道徳的エージェントだと胸を張って言えるAIは実現可能なのでしょうか。
僕の答えは「YES」です。
そして既に、このような道徳的AIのプロトタイプは登場しつつあるとも考えています。
「できるのに、あえてしない。」
「やらないこともできたのに、あえてした。」
このようなあり方をした装置を作るには、実は、それほど難しいことではありません。その一例として、先に触れた「悪口フィルター」を装備した ChatGPTを挙げておきましょう。
悪口フィルターを備えた ChatGPTは、一方では、罵詈雑言も返しうる文章作成機能を備えています。他方、それは、悪口フィルターを発動させることで、そのような罵詈雑言を自ら封じることもできるのです。
しかしフィルターが働いたとしても、悪口がどのように、ないしはどこまで封じられるのかは、実はある程度、偶然に左右される事柄なのです。それはコンピュターの細部の動作自体が、つねに偶然性をはらんだ営みであることに由来しています。
コンピューターの数値計算には、偶然的な要素の介入が避けられません。
例えば、数値計算ではいろいろな箇所で、四捨五入のような「まるめ」操作が行われます。どの順番でどのような「まるめ」操作が実行されるのかは、コンピューター 細部の偶然的な挙動によって左右されます。「まるめ」の順番は、その都度の数値計 算ごとに変わることになるのです。「まるめ」の順番が変われば、計算結果も微妙に変わります。その結果、同じコンピューターに同じ数値計算をやらせても、その都度、微妙に違った計算結果がアウトプットされることがよくあります。
同じように、悪口フィルターの細部の偶然の挙動によって、その都度のフィルタリング作業自体も変わります。このような細部の偶然性をうまく制御できた場合、悪口は防げます。しかし、偶然性を制御し、悪口を防げるかどうかも、それ自体、偶然に委ねられています。本当に悪口がすべてきちんとフィルターされるかどうかは実際にAIを走らせてみないと分からないのです。
（このことは、高度な情報処理を行うAIをモラルベンディングマシーン化することは容易ではないことをも意味します。いかなる偶然が発生したとしても、絶対に良いことしかしない自動運転AIを作ることは実は難しいのです。）
ChatGPTの悪口フィルターを一般化した「悪行フィルター」という装置を考えてみましょう。
このような「悪行フィルター」を備えたAIの挙動を側から見れば、ある時は廊下を歩いたり、ある時は走ったりしている子供のような振る舞いを示すはずです。それは、「走れるのに、あえて走っていないエージェント」「走らないこともできたのに、あえて走ったエージェント」と外見的には区別できない挙動をするのです。
その意味で、それは道徳自動販売機ではない、当為性を備えた道徳エージェントなのです。