<aside> 📜

지금 적용된 정규식 목록은 아래와 같습니다!

</aside>

텍스트 전처리 로직 공유용 py 코드

닉네임

유튜브 handler는 기본적으로 @jiojaa-ij1_iojvasdf.iojasdf-3l1 이런 형태를 가진다. 이를 수정해야 편하다.

쓸모없는 prefix, subfix 제거

subfix는 매번 바뀔 가능성이 높다… 따라서 더 일반적인 정규식이 필요.

일단 이렇게 바꾸긴 했지만 나중에 더 바뀔 가능성이 높다

text.replace('@', '')
	.replace(/-[a-zA-Z0-9]+(?=\\s|$)/g, '')

handler에 있는 특이한 조건 제거

아래의 handler를 보면 _ . -가 있는 것을 볼 수 있는데, 이걸 제거해주어야 한다.

일단 공백으로 제거 후 special token으로 처리하는 것이 좋겠다

신규_3만_프사꾹_46
I.9.금.전.용.P.R.E.M.I.U.M
1_9_금_보관전용_채널
2_9_금_전_용_채널
I9금-전용-가이드

text.replace(/[\\-\\.\\_]/g, '')

한글이나 영어가 아닌 경우 default nickname으로 처리

text = text.replace(/[^a-zA-Z가-힣ㄱ-ㅎㅏ-ㅣ0-9]/g, '').trim()
if (!text) text = '[DEFAULT_NICK]'
if (text.match(/('user')/g)) text = '[DEFAULT_NICK]'

댓글

유니코드 문장 부호 수정

textOriginal이나 textDisplay나 둘 다 유니코드가 들어있다(…) 이래서 유니코드가 싫어