[4.1 word2vec 개선-1]

• 3장에서는 단어 2개를 맥락으로 사용해 타깃을 추측하는 간단한 CBOW를 구현했습니다.

  • 입력 측 가중치와의 행렬 곱 ⇒ 은닉층 ⇒ 출력 측 가중치와의 행렬 곱 ⇒ 각 단어의 점수 ⇒ softmax 함수 ⇒ 단어의 출현 확률 ⇒ 교차 엔트로피 오차 적용 ⇒ 손실 도출
  • 간단한 CBOW모델은 말뭉치 크기가 커지면 계산량이 굉장히 커진다는 한계가 있습니다.

• 어휘가 100만 개, 은닉층의 뉴런이 100개인 CBOW모델

  

• 아래 두 개의 계산이 병목됩니다.

  1. 입력층의 원핫 표현과 가중치 행렬 W_ih의 곱 계산
  • 단어를 원핫 표현으로 다루므로 어휘 수가 많아지면 원핫 벡터 크기↑
  • Embedding 계층을 도입함으로써 해결 가능
  1. 은닉층과 가중치 행렬 W_out의 곱 및 Softmax계층의 계산
  • 은닉층과 가중치 행렬 W_out의 곱 메모리 크기↑
  • Softmax 계층 어휘 ↑ 계산량 ↑
  • 네거티브 샘플링 손실 함수를 도입함으로써 해결 가능

[4.1.1 Embedding 계층]

• 아래 그림은 word2vec 구현에서 단어를 원핫 표현으로 바꾼 것이빈다.
• 기존의 원핫 표현과 MatMul 계층의 가중치 곱은 결국 행렬의 특정 행을 추출하는 것입니다. 사실 원핫 표현으로 변환과 MatMul 행렬 곱 계산 필요X

⇒ 가중치 매개변수로부터 단어ID에 해당하는 벡터를 추출하는 계층 생성(Embedding 계층)

[4.1.2 Embedding 계층 구현]

• Embedding 계층의 forward() 메서드 구현

  

class Embedding:
'''
forward 계층 : 가중치 W의 특정 행 추출
인스턴스 변수 idx에는 추출하는 행의 인덱스(단어ID)를 배열로 저장
backward 계층 : 출력 층으로부터 전해진 기울기를 입력 층으로 흘려줌
가중치 기울기 dW를 꺼낸 다음, dW[...]=0문장에서 dW의 원소를 0으로 덮어씀
출력 층으로부터 전해진 가중치 기울기를 가중치 기울기 dW의 특정 행에 설정
'''
    def __init__(self,W):
        self.params = [W]
        self.grad = [np.zeros_like(W)]
        self.idx = None
    def forward(self,idx):
        W, = self.params
        self.idx = idx
        out = W[idx]
        return out
		def backward(self,dout):
		    dW, = self.grads
		    dW[...] = 0

				for i, word_id in enumerate(self.idx):
				# dh의 각 행의 값을 dW의 해당 행에 더해준다.
					dW[word_id] += dout[i]
		    return None