[ Meeting ] 3월 2주차 - 인퍼런스 시간, Paper

 

1. 제대로 된 인퍼런스 시간 체크한 게 맞는지

CLIP(0.96 seconds)에 비해 TinyCLIP들은 2.2~3.8 seconds

로컬에 다운받아 체크한 결과, TinyCLIP(ViT-40M-32-Text-19M) 모델의 인퍼런스 시간: 5.49 seconds

 

a. 논문과 상충되는 건지

b. 로딩시간/ 이미지에 대해 제대로 인퍼런스 시간 재고 있는 건지

c. 첫 이미지가 통과할 때 no gradient로 돌리고 있는지

제대로 잰 거 같은데 ..ㅜ

 

2. Flops, throughput 같이 재봐도 좋겠다.

넵 !

 

3. 이 프로젝트에 LLM 사용되는가?

이미지와 텍스트 함께 처리하고, 1비트 양자화 적용하려 함

LLM이 포함된 CLIP이나 TinyCLIP 같은 모델 사용하는 거라면 LLM 기능이 포함되어 있다고 봐야겠조?

근데 이걸 물어보시는 게 아닌 거 같은데..

 

4. 관련 Paper 공유해주심

- MeaCap처럼 구현하는 게 나을 것 같다.

https://arxiv.org/pdf/2403.03715

 

5. 인퍼런스 시간에 compute만 시켜서 접근하는 게 low resource일 듯

넵

 

6. PAR 성능이 가장 높은 CLIP 가져와서 메모리에 데이터 놓고 성능 보기

 

7. 구체적인 Structure 진행도 보여주기