10. 이변수 함수 미분법의 정의

지난시간

 

○ 미분법은 공간 위에 벡터를 만드는 방법이다. 가령 구처럼 벡터공간위에 있지 않는 도형일 지라도 구위의 각점을 지나는 접평명(벡터공간)을 그리고 내적을 할당하여 구라는 정량적 의미를 부여하는 것이다.

 

○ 일변수 미분법은 함수의 그래프가 주어져있으면 그래프 위의 각 점에 접선을 구하는 미분법이다. 일변수 미분법의 정의는 lim(h->0) f(x+h)-f(x)/h이다. 이 값이 존재한다면 미분계수라고 부르고 f'(x)로 표기한다.

 

정의로부터 일변수 미분법이 정의되기 위해서는 연속해야함을 알 수 있다. 또한 합성함수의 미분 역시 가능해야 한다.

 

 

 

이번 글의 목표

 

우리가 확실히 알고 있는 일변수 미분법 그리고 다양한 이변수 함수의 성질을 이용해 올바른 이변수 함수 미분법의 정의를 찾아갈 것이다.

 

 

 

시도들 중 하나

 벡터공간|R^2에 내적 <. , .>이 주어져있을때 함수 f:|R^2 --->R을 고려하고 크기가 1인 방향벡터 d=(d1,d2) ∈ R^2를 고정하자.

 

만약에 벡터 P = (p1, p2) ∈ R^2에 대해서 

lim(h->0) f(p+hd) - f(p)/h가 존재한다면 이를 함수 z =f(x,y)의 p에서 d방향으로의  방향미분계수(or 방향도함수) (directional derivative)라 부르고 Ddf(p) = lim(h->0) f(p+hd) - f(p)/h로 표시한다.

 

 

cf) 방향벡터 d의 존재에 대한 추가설명. 일변수 함수의 그래프 같은 경우에는 그래프에서 오른쪽에서 다가올지 혹은 왼쪽에서 다가올지 이 두가지 경우만 생각하면 되었지만 벡터공간으로 확장되면서 360도 어디에서든 접근 가능하게 끔 해줌.

 

 

comment)일변수 함수의 정의와 생김새가 유사한 이유는 우연이 아니라 일부로 일변수 미분법의 정의처럼 만들려고 노력한 결과이다. 다만 방향미분계수에서는 치명적인 문제가 발견이 되는데...

 

 

 

관찰

일변함수 미분법을 흉내내어서 이변수 함수의 방향미분계수를 정의했다. 그러나 아쉽게도 방향미분계수는 연속함수가 아닐 떄에도 식을 만족시키는 경우가 존재했다. 

그림설명

 

함수 f:R^2-->R, 

 

f(x,y) = { 0 (x,y)가 보라색 영역일 떄, 1 (x,y)가 초록색 영역일 때} 로 정의하자.

 

 

 

문제점

 

p로 (0,0)을 선택하면 방향벡터(d)를 뭐로 정하든 Ddf(p) = lim(h->0) f(p+hd) - f(p)/h = 0이 된다.

(생각해보아라. 방향벡터가 어디든 보라색 영역을 지나가는 것은 피할수 없다.)

 

그런데 z = f(x,y)는 함숫값이 0에서 1로 급변할 수 있기에 연속함수가 아니다. 즉, 방향 미분계수가 정의되지만 연속함수가 아니다. 이는 일변수함수의 미분계수로부터 얻어낸 성질과 대치되므로 올바른 일반화 방법이 아니다.

 

방향 미분계수가 이변함수의 미분법을 의미하지 못해도 즉각폐기되지 않았는 데 그 이유는 다음과 같다.

1) 일변함수와 생김새가 닮아서

2) 의미와 맥락이 여전히 요긴하여서

 

결국 처분을 하는 대신에 수렴 이외에 조건을 추가하기로 하는데...

 

 

 

편미분계수(Partical derivative)

내적에 해당하는 행렬 중 항등행렬을 고르고 (즉 유클리드 기하라는 세계관 안에서 이야기를 전개하겠다라는 뜻)

방향벡터 d를 (1,0)과 (0,1)로 선택하는 경우,

 

라고 적고 각각을 z= f(x,y)의 x방향과 y방향의 편미분 계수라고 부른다.

 

cf) 결국 편미분 계수는 방향미분계수의 특이한 경우인 것이다.

 

 

 

Q) 미분계수의 정의도 아니면서 왜 편'미분'계수라는 이름이 붙었을 나요?

 

A) 편의 한자는 치우칠 편입니다. 하나의 방향을 설정하고 편파적으로 봤을 때 그 방향에 대해서는 미분이 맞긴 하니깐 편미분이라고 부르는 것입니다. 물론 전체에 다 통용되는게 아니라 특정 방향에 대해서만 골라서 보는 것이기 때문에 완전한 미분의 정의로 편미분이 채택될 순 없는것입니다.

 

 

 

7번째 글 복습

<a,b> = |a|·|b|cos(theta),

 

|a|= root<a,a> , |b| = root<b,b>

 

위의 수식을 기하적으로 이해하면 

 

일반적으로 방향이 다른 두 벡터를 그냥 곱하는 행위는 불가능하다.

 

위의 그림과 같은 방식으로 한 벡터를 다른 벡터방향으로 맞춰준 뒤에야 곱하는 것이 가능하다.

 

이렇게 한 벡터를 다른 벡터방향에 맞춰주는 행위를 정사형이라고 한다.

 

앞으로의 글에서 내적을 한 벡터를 다른 벡터에 정사형시킨 뒤 그 크기만큼을 곱해주는 행위로 생각하자.!!(중요)

 

 

 

이변수 함수의 미분의 정의

벡터공간 |R^2에 내적 <. , .>, 함수 f:R^2 --> R가 주워졌을 때 모든 벡터 P ∈ } |R^2 에 대해 다음 조건을 만족시키는

벡터 ∇f(p) ∈ } |R^2  가 존재한다면 우리는 f를 미분가능함수라고 부르고  ∇f(p)를 p에서의 Gradient Vector(구배 연산자)라고 부른다.

 

조건: <∇f(p), d> = Ddf(p)

 

comment) 이식이 왜 미분가능성의 정의인지 너무 급전개 같은데 이후 진행하면서 수습하겠습니다. 위의 조건으로 정의를 채택하면 두 미분가능한 함수끼리의 합성을 해도 미분법이 성립함을 확인할 수 있습니다.

 

 

 

 

<∇f(p), d> = Ddf(p) 조건 이해

∇f(p)의 생김새에 쫄지 말고 그냥 벡터의 일종이라고 생각하자.

방향벡터(d)가 어디를 향하는 벡터이든 그 방향으로 ∇f(p)벡터가 정사형을 내린 뒤 곱해준 값이 Ddf(p) 즉 함수 f의 p점에서 방향 d로의 방향미분계수가 같아야 한다는 조건이다.

 

comment)

결국 그래디언트 벡터는 내적의 선택에 의존한다. 내적에 해당하는 행렬이 항등행렬이면 

∇f(p) = (∂f/∂x(p), ∂f/∂y(p)) 이다. 그러나 인공지능, 통계학 등의 응용학문에서 많이 쓰이는 기법인 경사하강법으로 그래디언트 벡터를 업데이트 했을 때 사용하는 내적은 항등행렬이 아니라 피셔정보행렬이다. 이 경우 당연히 그래디언트 백터 값은 위의 적어놓은 식이 아니다.

 

 

 

그래디언트 벡터는 결국 벡터다.

∇f(p)는 백터, 즉 |R^2(벡터공간)의 원소이므로 ∇f(p) = (a,b)로 표현가능하다.

 

이떄 항등행렬을 내적으로 채택하여 ∇f(p) = (∂f/∂x(p), ∂f/∂y(p)) 이 성립함을 보자

 

좌변)

∇f(p)●(1,0) = (a,b)●(1,0)=a*1 + b*0 = a

 

우변) D(1,0)f(p) = lim(h->0) f(p+hd) - f(p)/h = ∂f/∂x(p)

 

==> a = ∂f/∂x(p)

 

좌변)

∇f(p)●(0,1) = (a,b)●(0,1)=a*0 + b*1 = b

 

우변) D(0,1)f(p) = lim(h->0) f(p+hd) - f(p)/h = ∂f/∂y(p)

 

==> b = ∂f/∂y(p)

 

 

 

conclusion)

그래디언트 벡터는 내적의 선택에 의존한다. 내적에 해당하는 행렬이 항등행렬이면  ∇f(p) = (∂f/∂x(p), ∂f/∂y(p)) 이다. 그러나 인공지능, 통계학 등의 응용학문에서 많이 쓰이는 기법인 경사하강법으로 그래디언트 벡터를 업데이트 했을 때 사용하는 내적은 항등행렬이 아니라 피셔정보행렬이다. 이 경우 당연히 그래디언트 백터 값은 위의 적어놓은 식이 아니다.