유튜브 댓글을 보다보면 스팸, 댓글, ~~달려옴 등등 여러 보기 싫은 댓글이 많습니다. 요즘은 방식이 바뀌어서 댓글이 필터링된다는 것을 알고 채널 이름으로 하고있더라고요… 이것까지 스팸으로 막을 수 있는 방법은 없을까요?

가이드라인을 넣어서 이에 맞는 댓글을 필터링 하는 서비스가 있다면 좋지 않을까요?

메인 페이지

유튜브 스팸 댓글 제거

<aside> ⚙

개발 환경

</aside>

<aside> 🏫

개발 전 확인사항

</aside>

유튜브 API

google OAuth2 AT, RT 둘 다 받아오기

커스텀 JWT Token을 관리하는 방법

python venv를 만들 때 기존의 패키지들을 가져오기

유튜브 스튜디오에서 답글 댓글 검색 방법

쇼츠 영상 판별법

메일 서버 구축

<aside> ⚙

사용할 Google API 목록

</aside>

channels:list

search:list

commentThreads:list

comment:list

playlistItems:list

commentRemove

google translate api

<aside> 📜

모든 서버에 공통 적용 내용

</aside>

사용할 정규식 목록

<aside> 📜

fp32 vs fp16

</aside>

==================== 모델 평가 로그 ====================
        prepare fp32 data time:  1.006296722
        prepare fp32 data time:  1.12354809
                tdataloader fp32 -  37.443755251
                dataloader fp16 -  11.20965574
        total eval time:  49.805218776
        
FP32 실행 시간: 3.438707478
FP16 실행 시간: 1.842245533

FP32 정확도: 98.30%
FP16 정확도: 98.30%
정확도 차이: 0.00%

FP32 정확한 예측: 4736 / 4818
FP16 정확한 예측: 4736 / 4818
전체 추론 시간:  51.939146449

=============== 1.12만개 유튜브 댓글에 대한 실행 시각 ===============
/* 시간 실행 함수 - 네트워크 지연 시간도 포함
console.time("Execution Time")
const predicted = await commentPredictor.predictComment(fetchedComments, videoId);
console.timeEnd("Execution Time")
*/
// `2bIg5GvLQ7Q` id를 가진 동영상을 사용하였습니다. 한국어 댓글 많은건 임영웅씨밖에 생각이 안나더라고요.
// 1~2초는 네트워크 때문에 차이날 수 있습니다. 이를 감안하여 확인해주세요!
// 3070 laptop 기준
example git:(main) ✗ bun predict-comment-with-video-id.ts # fp16
[39.34s] Execution Time

example git:(main) ✗ bun predict-comment-with-video-id.ts # fp32
[258.24s] Execution Time

// jetson xavier nx 기준
example git:(main) ✗ bun predict-comment-with-video-id.ts # fp16
[354.06s] Execution Time

example git:(main) ✗ bun predict-comment-with-video-id.ts # fp32
[697.57s] Execution Time

// jetson orin nano 기준
example git:(main) ✗ bun predict-comment-with-video-id.ts # fp16
[170.71s] Execution Time

example git:(main) ✗ bun predict-comment-with-video-id.ts # fp32
[440.81s] Execution Time

<aside> 📖

Repository

</aside>

https://colab.research.google.com/drive/1Lc85y80Lc1wU5LcKl35xVNJAIyG0Q6l7?usp=sharing - 코랩으로 댓글 필터링 머신러닝! - colab은 직접 사용하기 전에 테스트 용도로만 사용

https://docs.google.com/spreadsheets/d/1C5iR4qeN5uh2co-AaXcdMB3AwMzJnYfnnUUMC0IC9Yw/edit?usp=sharing - 모두가 함께 만들어가는 데이터셋 스프레드시트

<aside> 🧑‍💻

흐름도

</aside>