01_선형대수와 선형방정식

1. 선형대수와 선형시스템

1.1. 선형대수학

• 선형대수학이란

  • 선형방정식을 풀기 위한 수학적 도구로, 대수학의 한 분야이다.
  • 공학·자연과학·경제학 등 폭넓게 쓰이며, 최근에는 행렬·벡터·내적 개념이 인공지능 이해와 빠른 연산의 바탕이 된다는 점에서 특히 중요해졌다.

• 정의

  • 선형방정식의 풀이를 위한 행렬이론, 벡터공간과 그들 사이의 선형사상에 관한 이론
  • 행렬이론: 주어진 선형시스템에서의 효과적인 표현
  • 벡터공간: 제한된 영역 안에서의 선형사상(mapping)을 표현
  • 선형사상: 선형적 특성을 가진 함수

1.2. 선형

• 선형 (Linear)

  • 집합 $A$의 원소에($x_1,\cdots ,x_n$)
  • 각각 상수를($a_1,\cdots ,a_n$)
  • 곱하여 더한 선형결합(Linear Combination; $a_1{x}_1+a_2{x}_2+\cdots +a_n{x}_n$)이
  • 집합 $A$에 속하는 경우

• 선형함수

  • 1차식, 1차함수, 직선 등으로 행렬 표현이 가능하다.

• 비선형함수

  • 2차 이상이거나 $\cos x$ 같은 함수, 곡선, 카오스(Chaos), Fractal 등으로 행렬 표현이 불가능하다.

1.3. 선형시스템 (선형방정식)

• 선형방정식 (Linear Equation)

  • $a_1{x}_1+\cdots +a_n{x}_n=b$ 형태
  • $x_i$는 변수(미지수), $a_i$는 계수, 등식을 성립시키는 값이 해(solution)이다.

• 선형시스템 (Linear System)

  • 유한개의 선형방정식의 집합

  • 모든 해의 집합을 해집합(solution set)이라 한다.

  • 다음과 같이 $n$개의 변수를 가진 $m$개의 선형방정식으로 이루어진다.

    • $a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1$
    • $a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2$
    • $\cdots$
    • $a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n=b_m$

• 동차선형시스템

  • 우변이 모두 0인 경우 ($b_1=b_2=\cdots =b_m=0$)

  • 자명해 (trivial solution)

    • $x_1=\cdots =x_n=0$ (항상 해가 된다.)

  • 비자명해 (nontrivial solution)

    • $x_1,x_2,\cdots ,x_n$ 중 어느 하나라도 0이 아닌 값을 갖는 해

  • 같은 해를 갖는 두 식은 동치(equivalent)이다.

1.4. 선형시스템의 해

• 선형시스템의 해

  • $x_1=s_1,x_2=s_2,\cdots ,x_n=s_n$이 선형시스템 내의 모든 방정식의 해일 때,
  • 수열 $s_1,s_2,...,s_n$을 선형시스템의 해(solution)라고 한다.
  • 선형시스템의 해집합: 선형시스템의 모든 해의 집합

• 해의 기하학적 의미

  • 변수가 2~3개일 때 그래프로 파악할 수 있다.

  • 경우는 셋으로 나뉜다.

    1. 유일한 해(한 점에서 교차)
    2. 해가 없음(평행)
    3. 무한히 많은 해(직선이 일치)

  • 정리하면 선형시스템은

    • 해가 없거나(inconsistent),
    • 해가 있으며(consistent),
      • 그 경우 다시 유일한 해
      • 또는 무한히 많은 해를 갖는다.

• 초기해: 선형시스템을 풀기 위해 초기에 가정하거나 추정한 해

• 특이해: 비동차 선형시스템($Ax=b$)에서 하나의 특정한 해

2. 선형방정식의 소거법

• 소거법 (Method of Elimination)
  • 선형시스템에서 해를 구하는 방법 중의 하나는 소거법이다.
  • 통상 어떤 식에다 0이 아닌 상수를 곱한 값에다 다른 식을 더함으로써 변수를 하나씩 소거해 나간다.
  • 소거법은 원래의 시스템과 동치(Equivalent)이면서도 해를 좀 더 쉽게 구할 수 있도록 변형하는 것이다.

2.1. 기본 연산

• 원래 식과 동치인 시스템으로 바꾸는 3가지 기본 연산이 토대이다.
  1. 방정식들의 위치를 서로 교환한다.
  2. 한 방정식에 0이 아닌 상수를 곱한다.
  3. 한 방정식에 상수를 곱해 다른 방정식에 더한다.

(1) 기본 행 연산과 행 동치

• 기본 행 연산(Elementary Row Operation)

  1. 어떤 두 행을 맞교환한다.
  2. 어떤 한 행에 0이 아닌 상수를 곱한다.
  3. 어떤 한 행의 원소에 상수를 곱한 결과를 다른 행의 각 원소들에 더한다.

• 행 동치 (Row Equivalent)

  • 기본 행 연산을 시행하기 전과 후의 행렬은 서로 행 동치 관계다.
  • 행 동치인 행렬을 만들어갈 때 ~를 행렬 앞에 표기한다.

기본 행 연산(행 동치)	기본 행 연산(행렬식)
맞교환	행렬식의 부호 변화
상수 곱	행렬식의 공통인수
상수 곱 더하기	행렬식의 동치

(2) 기본 행 연산으로 얻는 행렬

• 기본행렬 (Elementary Matrix)

  • 단위행렬(E)에 한 번의 기본 행 연산을 수행하여 얻어진 행렬

• 사다리꼴 행렬

• LU분해

  • 행렬 A를 하 삼각행렬(L)과 상 삼각행렬(U)의 곱, 즉 A=LU로 나타내는 것을 LU분해라고 한다.
  • 이때 기본행렬로 사다리꼴 행렬(상 삼각행렬)을 만들 수 있다.

2.2. 가우스 소거법

• 가우스 소거법 (Gaussian Elimination)
  • 기본 연산을 체계적으로 반복해 변수를 차례로 없애는 것

2.3. 가우스-조단 소거법

• **가우스-조단 소거법(Gauss-Jordan elimination)**은 두 단계로 구성된다.

  1. 전향 소거법(forward elimination): 적절한 상수를 곱해 변수들을 차례로 소거 (이 단계가 곧 가우스 소거법)
  2. 역대입법(back-substitution): 구해진 변수 값을 남은 식에 대입해 전체 해를 구함

• 이때 각 식의 맨 앞 0이 아닌 계수를 **피벗(pivot)**으로 삼으며, 가능하면 1이나 2 같은 간단한 수를 피벗으로 두는 것이 계산에 유리하다.

• 예제

  • 해가 유일한 경우
  • 해가 없는 경우 (모순 발생)
  • 무한히 많은 경우

3. 선형대수학과 인공지능

• 인공지능 개요

  • 컴퓨터로 인간의 지능(인식·사고·학습)을 모델링하는 기술이다.
  • 연구는 1950년대 중반 시작되어, 2012년 구글의 심층신경망(DNN) 고양이 영상인식, 2014년 페이스북 딥페이스, 2016년 알파고와 이세돌 대국(4대 1) 등을 거치며 폭발적으로 발전했다.
  • 2020년대에는 NPU 하드웨어, 텐서플로·파이토치 같은 소프트웨어 보급으로 대중화되었다.
  • 인공지능은 규칙기반(if-then-else)과 신경망 기반으로 나뉘며, 선형대수학이 주로 쓰이는 곳은 신경망 분야이다.

• 인공지능에 필요한 수학으로는

  • 기초 함수 (지수·로그·삼각·시그모이드),
  • 미분과 도함수 (최적화·역전파·체인 규칙),
  • 통계·확률·회귀 분석 (선형 회귀, K-means, K-NN) 등이 있고,
  • 그중에서도 행렬과 벡터가 핵심이다.

• 행렬과 벡터

  • 행렬: 곱셈과 선형 변환에 쓰이며, 신경망에서 입력과 연결강도(weight)를 곱할 때 필수
  • 벡터: 신경망 입력 데이터 표현, 내적·직교·거리 측정에 사용. 입력과 연결강도를 곱해 더하는 연산이 곧 벡터 내적

• 다만 텐서플로 같은 라이브러리 덕분에 깊은 수학 지식 없이도 구현·활용은 가능하나, 핵심 개념의 이해는 여전히 중요하다.

• 생활 속 응용

  • 게임 이론 (전략 수립),
  • 경영학 (생산·가격 최적화),
  • 각종 공학의 기초,
  • 천문학 (가우스가 팔라스 소행성 궤도를 변수 6개 선형방정식으로 세워 자신의 소거법으로 풀어낸 사례) 등