10 AI 윤리란 무엇인가

• AI 윤리란 무엇인가
  • 한양대학교 이상욱 교수님
  • 인공지능 시대에 요구되는 윤리적 이해를 높이는 것을 목표로 한다.
  • ‘낯선 지능’과의 공존, 윤리 원칙의 실천, 국제 거버넌스의 쟁점 등을 통해 책임 있는 AI 활용 방안을 모색한다.

1. ‘낯선 지능’과 함께 살아가기

1.1. 인공지능(AI)의 본질과 ‘낯선’ 특징

AI는 똑똑하지만 인간과는 전혀 다른 방식(자각 없음)으로 결과를 산출하므로 상호작용 시 이 점을 유의해야 한다.

• 메모

  • 인공지능은 철학적으로 우산 개념, 굉장히 다양한 인공지능이 있어서 윤리적 쟁점이 모두 다르다.
  • 주로 집중하는 아키텍처는 인공 신경망 기반 AI (노드 계산 단위, 연결 파라미터)

• 인공 신경망 기반 AI의 원리

  • 인간 뇌를 모방했으나 차이점이 더 크다.
  • 핵심: 노드(신경세포)는 의미를 알 수 없는 숫자이며, 학습과 예측은 단순한 계산의 결과이다.
  • 자각 없는 수행: 의미를 모르고 계산만 수행하므로 설계 원리적으로 불투명하다. (반투명 상자)

• AI의 3가지 낯선 특징 - 방식의 차이가 낯선 차이

  1. 자각 없는 수행: 의식적 경험이 부재한다.
     • 아직은 정신적 주체가 없다.
  2. 이해할 수 없는 실패: 진정한 이해가 없기 때문에 예상치 못한 방식으로 실패한다.
     • 실패를 사람이 이해할 수 없다.
  3. 계산과 실재의 간극: 몸이 없는 사이버 존재이다.
     • 아직은 피지컬 AI같은 물리적 효과가 없다.

• AI의 양면성 (똑똑함 vs 멍청함)

  • 똑똑함
    • ‘Bounty’의 어원과 역사적 변천(현상금에서 보조금으로)을 완벽히 설명한다.
    • 텍스트 데이터 기반의 강세
  • 멍청함
    • 에펠탑이 없는 파리의 야경을 그려달라는 요청에, ‘파리=에펠탑’이라는 데이터 연관성 때문에 에펠탑을 포함한 그림을 그린다.
    • 학습 데이터에 대한 의존성
    • ARC Prize: 무작위 패턴에 생긴 공간에 색을 칠하는 문제로, 사람에게는 쉽지만 인공지능에게는 어려운 패턴으로만 고안하였다. 아직도 수상자가 없다.
  • (인간과는 다른 방식으로 지적이다.)

1.2. 윤리(倫理)와 Ethics의 차이

• 개념적 차이

  • 윤리(한국어)
    • 인간으로서 마땅히 지켜야 할 도리
    • 개인이 명백하게 도리에 어긋나는 행동을 하는지 여부와 관련된다.
  • Ethics(영어)
    • 고대 그리스어 Ethos(인격)와 라틴어 Mores(관습)에서 유래
    • 특정 집단이나 분야에서 통용되는 도덕적 원칙(규범적 판단)을 의미한다.
  • 윤리는 서로 명백하게 합의가 되지만, 에토스는 서로 생각이 다른 점이 있을 수 있다.

• 서양의 Ethics 기원

  • 고대 그리스 민주주의 전통에서 도시국가 운영을 위해 필요한 시민의 핵심 역량에서 유래
  • 단순한 도덕적 옳고 그름을 넘어, 사회적 합의와 운영 원칙을 포함하는 개념

1.3. AI와 공감, 그리고 전문직 윤리

AI의 공감 능력에 의존하기보다 인간다운 현명한 공감 능력이 필요하다.

• 인간과 AI의 공감

  • 감정 없는 감정 AI: Affective Computing 등장은 감정 없이도 감정적인 상호작용이 가능함을 보여준다.
  • ELIZA 효과: 사람들은 오히려 사람이 아닌 존재(AI/로봇)에게 내밀한 이야기를 하는 것을 편해하기도 한다.
  • 위험성: AI의 탁월한 공감 능력은 피상적일 수 있으므로 위험할 수 있으며, 인간다운 현명한 공감 능력을 기르는 것이 중요하다.
  • (무한한 공감이 아닌, 건설적이고 현명한 공감)

• 전문직 윤리와 윤리적 설계

  • 전문직 윤리
    • 의사, 변호사 등 특정 전문가 집단에게 요구되는 책무
    • 집단의 결속력과 사회적 지위를 위해 도입된다.
  • AI 윤리적 설계(Ethics By Design)
    • IEEE 등에서 인공지능 윤리 설계 표준을 정립하려는 노력(ISO 등)이 진행 중이다.

1.4. AI 윤리의 실천과 사례

AI 윤리는 기술 발전을 가로막는 장애물이 아니라, 인류에게 유익한 방향으로 AI가 개발되도록 돕는 가이드이자 조력자 역할을 한다.

• 생생한 사례: OpenAI 사태

  • 샘 알트먼(OpenAI CEO)의 해임과 복직 사건은 실리콘밸리 내에서 개발 속도 vs 안전(윤리)이라는 서로 다른 윤리관(에토스)이 충돌하고 있음을 보여준다.
  • (복직 후 초기 창업 멤버의 슈퍼 얼라인먼트 팀을 해체하여 성능을 증진하였다.)

• AI 윤리의 정의

  • AI 윤리는 단순히 규제하는 것이 아니라, 바람직한 방향으로 AI를 개발·활용하기 위해 사회적 합의를 통해 규범을 만들어가는 적극적인 과정이다.

2. 원칙에서 행동으로

2.1. AI 글로벌 거버넌스의 현황과 흐름

세계는 지금 AI의 혜택과 위험을 동시에 고려하는 국제 관리 체계(거버넌스)를 만들고 있다.

• AI 국제 거버넌스 현황과 쟁점

  • 골드 스탠다드가 없는 AI 윤리
  • AI 기술경쟁 가속화: 선진국만이 아니라 개발도상국 및 저개발국의 관심 증대

• 원칙에서 행동으로 (From Principles to Action)

  • 초기: OECD, UNESCO, IEEE 등 국제기구와 국가들의 윤리 원칙 선언 위주
  • 현재(2023년 이후): EU의 <AI 법>, 미국의 <AI 행정명령> 등 구체적인 규제와 입법 활동이 활발해짐
  • 유네스코(UNESCO)의 특징: 다른 기관에 비해 포괄적(comprehensive)이고 근본적(fundamental)인 접근을 취하며, COMEST(세계과학기술윤리위원회)가 논의를 주도함

• 국가별 접근과 윤리 비용

  • 유럽 vs 미국: 유럽은 규제 중심, 미국은 혁신 중심이라는 통념이 있으나, 실상은 모든 국가가 자국의 이익을 중심으로 잠재적 혜택과 위험을 저울질함
  • 무역 장벽화: AI 윤리 준수에 드는 비용이 개발도상국에는 사다리 걷어차기나 무역 장벽으로 작용할 우려가 제기됨
  • 표준 경쟁: IEEE, ISO 등에서 제정 중인 신뢰성, 안전성 관련 윤리 기술 표준은 향후 무역 장벽이 될 가능성이 높음 (현재 한국 포함 11개국 AI 안전 연구소 네트워크 구축)

2.2. AI의 기술적 특성과 윤리적 쟁점

핵심 키워드는 신뢰 가능성과 안전성이다. AI 윤리 문제는 단순한 도덕적 논의가 아니라, 환각, 이중 사용, 저작권, 탈숙련 등 기술적 특성과 맞물린 복합적인 사회적·경제적 쟁점이다.

• 신뢰할 수 있는 AI vs 안전한 AI

  • 신뢰할 수 있는(Trustworthy) AI: 혁신과 윤리의 균형을 강조
    • 설명가능성 ,투명성의 부족
  • 안전한(Safe) AI: 최근 생성형 AI의 등장으로 인한 위험(Risk)에 주목하며 부상한 개념
    • 파워풀한 AI의 프론티어 모델이나 AI 에이전트의 실수 가능성

• 환각(Hallucination)과 탈옥(Jailbreak)

  • 환각은 특성이다
    • OpenAI는 챗GPT의 버그를 찾으면 상금을 주지만, ‘환각’과 ‘탈옥’은 상금 대상에서 제외한다.
    • 이는 환각이 오류(Bug)가 아니라 생성형 AI의 기술적 특징(Feature)이기 때문이다.
  • 거짓 정보의 위험
    • 환각을 통해 생성된 허위 정보(Deepfakes 등)는 선거 개입, 주식 시장 혼란, 성착취물 제작 등 심각한 사회적 피해를 야기한다.
  • 탈옥 가능성
    • 인간 피드백 강화학습(HFRL)으로 안전장치를 걸어도, 이는 가역적이므로 악의적 의도를 가지면 AI를 퇴화(degeneration)시키거나 안전장치를 해제(탈옥)할 수 있다.

• 환각, 퇴화, 탈옥은 특징이다.

2.3. 사회적 파급 효과와 딜레마

인간이 쌓아 올린 전문성을 AI 시대에 어떻게 재정의하고 보존할 것인가에 대한 근본적 질문을 던지고 있다.

• 이중 사용(Dual Use) 문제

  • 착한 AI(예: 신약 개발)를 약간만 변형하면 나쁜 AI(예: 독성 물질 생성)가 될 수 있다.
  • 기술 자체의 모호성 때문에 안전한 활용을 위한 거버넌스가 필수적이다.

• 저작권과 데이터 주권

  • 학습 데이터: AI 학습에 사용된 데이터에 대한 ‘적절한 보상’ 문제로 법적 분쟁 중.
  • 결과물 저작권: AI 자체는 저작권을 가질 수 없다는 합의는 있으나, AI를 도구로 쓴 인간 창작자의 권리 범위는 미합의 상태.
  • 데이터 주권: 자국에서 생산된 데이터에 대한 통제권과 이익 공유에 대한 인식이 확산됨.

• 탈숙련(Deskilling) 문제

  • 전문가: AI 활용 시 능력 강화(Augmentation) 효과를 본다.
  • 비전문가/초심자
    • 전문성을 갖추기 전에 AI에 과도하게 의존하면, 스스로 능력을 키우지 못하는 탈숙련화(Deskilling)가 발생할 수 있다.
    • 인류가 보존해야 할 핵심 역량이 무엇인지 고민이 필요하다.

3. AI 시대, 미래는 오지 않는다!

• 적절한 거버넌스로 혁신과 윤리를 공존시키는 것이 핵심

3.1. 기술을 바라보는 관점과 한계

AI의 미래는 정해져 있지 않으며, 수동적 수용이나 거부는 바람직하지 않다. 인간은 기술에 맞춰 변화하고, 그 변화는 다시 기술 개발에 영향을 미친다. 우리는 이 과정에 적극적으로 개입해야 한다.

• 두 가지 수동적 시각

  • 적극 수용론: AI 시대에 살아남기 위해 기술 활용 역량을 키워 빨리 적응해야 한다.
  • 전통 가치 수호론: AI가 훼손할 수 있는 문해력 등 전통적 가치를 교육을 통해 지켜야 한다.
  • 비판 (제3의 길): 위 두 견해는 모두 기술과 인간의 관계를 수동적으로만 보고 있다는 한계가 있다.
    • 조급할 필요도, 거부할 필요도 없다. 사람은 기술에 수동적으로 적용되지 않고, 꾸준히 적응하고 변화하는 공진화를 한다.

• 기술 도입과 생산성의 역설

  • 케인즈의 예언 실패
    • 1928년 케인즈는 기술 진보로 주 15시간만 일하는 시대가 올 것이라 예측했으나, 소비 증가와 생활의 분주함으로 인해 실현되지 않았다.
    • (예: 세탁기가 등장했지만 세탁 횟수가 늘면서 가사 노동 시간은 줄지 않았다.)
  • 생산성 정체
    • 컴퓨터가 보급된 후에도 한참 동안 기업 생산성은 정체되었다.
    • 혁신 기술은 단순히 도입하는 것만으로 세상을 바꾸지 않으며, 그것을 어떻게 잘 사용할지 찾아내는 과정이 필요하다.

• 메모

  • 사람은 수동적이지 않다. 상황과 문화에 따라 능동적으로 변화한다.
  • 기술의 생산성이 좋아지면, 노동 시간이 줄어드는게 아니라 생산량과 보급력이 상승한다.
  • 인공지능과 공진화 개념: 서로 상호작용하며 발전한다.

• 1970년 PC 도입과 생산성 증대의 예측

  • 현실은 1990년이 되어서야 생산량이 증가함
  • 기술에 대한 적응, 사회적 제도적 장치 마련 등
  • 이를 설명한 경제학자가 노벨 경제학상을 받음

• 인공지능만 투자되어야 하는 것이 아니라 그걸 활용할 사람도 배워야 한다.

• 현 AI의 한계

  • 한 분야의 전문가를 뛰어 넘기는 쉽지만,
  • 분야 횡단 능력(다각도, 다양한 전문성으로 설명하기 힘듬)
  • 피지컬 AI의 어려움

3.2. 자동화(Automation) vs 증강(Augmentation)

AI에게 대체되기보다 AI를 활용해 능력을 강화하는 방향으로 나아가야 한다.

• 자동화의 본질

  • AI는 자동화 기술 진화의 연장선에 있다. (비숙련 노동 대체 → 숙련 노동 대체)
  • 자동화의 이득은 표면적으로는 비용 절감이지만, 실제로는 키오스크의 사례처럼 소비자에게 노동을 전가하는 비용 전가인 경우가 많다.
  • 자동화는 기술적 필연이 아닌, 사회적·제도적 결정이다.

• 증강으로의 전환

  • 아마존 물류 창고
    • 로봇과 인간이 협업하는 형태가 당분간 대세가 될 것임을 시사한다.
    • 로봇(물건 이동), 인간(검수, 라벨링, 분류) → 여전히 단순 동작일수록 로봇이 더 잘 한다.
  • 증강(Augmentation)
    • 인간과 기계의 상호보완적 관계로, 인간의 능력을 강화하고 더 많은 가치를 창출하는 방향이다.
    • (예: 바코드 도입이 계산원의 효율을 높임)
  • AI는 인간을 대체하기보다 업무(Task)의 내용을 변화시키는 방향으로 작용할 것이다.

3.3. 책임 있는 혁신과 거버넌스

AI가 인류 보편 복지에 기여하도록 적극적으로 관리 체계를 구축해야 한다.

• 파괴적 혁신 vs 책임 있는 혁신

  • 역사적으로 혁신 기술이 항상 인류의 보편적 복지를 향상시킨 것은 아니다. (대런 아세모글루, <권력과 진보>)
  • 그 차이는 권력의 적절한 통제 여부에 달려 있다.

• 기술이 독점되면 생산량은 늘어나지만 인류 복지는 필연적이지 않다.

• 물 기술(Running Water)이 되기 위하여

  • 농업 기술: 생산력은 높였으나 대다수의 삶의 질은 떨어뜨린 경우
  • 상수도 기술: 인류의 보편적 복지 수준을 혁신적으로 끌어올린 경우
  • AI가 농업 기술이 아닌 상수도 기술처럼 되기 위해서는 공정하고 적절한 글로벌 거버넌스 구축이 필수적이다.

3.4. 미래의 정의와 AI 윤리의 결론

• 미래는 오지 않는다 (Future is strictly transitive)

  • Future의 어원을 살펴보면 미래는 가만히 기다리면 오는 것이 아니라, 우리가 바람직하게 생각하는 모습으로 만들어 가는 것(To make future)이다.

• 인류의 우주적 의미

  • AI라는 낯선 지능과의 만남은, 훗날 우주에서 마주칠지 모를 다른 지적 존재들과의 만남을 대비하는 유익한 경험이 될 수 있다.
  • 이 도전에 성공적으로 대응하면 인류는 새로운 단계로 도약할 수 있다.