논문 리뷰/Super-Resolution22 [2022_CVPR_VideoINR] VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution 논문 요약 대부분의 고화질 비디오는 저장하는데 많은 자원이 소모되기에 낮은 해상도와 프레임 레이트로 저장된다. 하지만 최근 temporal interpolation과 spatial super-resolution을 통합한 Space-Time Video Super-Resolution (STVSR) 프레임워크를 통해 이 문제를 해결하고 있다. 그러나 대부분의 STVSR은 고정된 업샘플링 비율만 지원하기 때문에 제약이 있다. 본 논문은 이에 대한 대응책으로 Video Implicit Neural Representation (VideoINR)을 제안하고 이를 STVSR에 적용하였다. 학습된 INR은 비디오를 임의의 해상도, 프레임 레이트로 디코딩할 수 있다. 1. Paper Bibliography 논문 제목 - .. 2023. 4. 5. [TDAN] Tdan: Temporally-deformable alignment network for video super-resolution 논문 요약 이전의 VSR methods는 보통 reference frame과 supporting frame사이의 optical flow를 구한 후 이를 사용해 supporting frame을 warp하여 temporal alignment를 한다. 하지만 부정확한 flow와 iamge-level warping은 warped supporting frames에서 부적절한 artifacts를 유발한다. 이를 해결하기 위한 temporal-deformable alignment network (TDAN)은 optical flow를 사용하지 않고 reference frame과 supporting frame을 feature level에서 적응형으로 align한다. 이는 refrence frame과 supporting .. 2022. 9. 14. [ABPN] Image Super-Resolution via Attention based Back Projection Networks 논문 요약 보통 더 깊고 넓은 네트워크가 더 좋은 SR 이미지를 만들 수 있으나 더 복잡해질수록 실생활에서 사용하기가 어려워진다. 그렇기 때문에 네트워크를 간단히 할 필요가 있다. 본 논문에서는 이를 위한 Attention based Back Projection Network (ABPN)을 제시한다. Back projection blocks는 low- and high-resolution feature residue를 반복적으로 업데이트한다. Spatial Attention Block(SAB)는 서로 다른 레이어들의 features간 cross-correlation을 학습하며 Refined Back Projection Block (RBPB)를 통해 final reconstruction을 진행한다. 1. P.. 2022. 8. 9. [RCAN] Image Super-Resolution Using Very Deep Residual Channel Attention Networks 논문 요약 CNN의 depth는 image super-resolution에서 중요한 요소이다. 하지만 깊은 네트워크일수록 훈련이 어렵다. 저해상도 입력과 features는 풍부한 low-frequency 정보를 가지고 있으며 채널별로 동일하게 다뤄진다. 하지만 이는 CNN의 표현 능력을 방해한다. 이를 해결하기 위해 very deep residual channel attention networks (RCAN)이 제시되었다. Residual in residual (RIR) 구조를 통해 깊은 네트워크를 만들 수 있으며 저해상도 정보가 여러 skip connections들을 통해 지나갈 수 있게 해 메인 네트워크가 고주파 요소들에 집중할 수 있게 한다. 추가로 channel attention을 사용하여 적응형.. 2022. 8. 9. [DRLN] Densely Residual Laplacian Super-Resolution 논문 요약 이전 SISR 알고리즘들은 깊은 네트워크 구조와 오랜 훈련시간이 필요했다. 더불어 SR을 위한 CNN은 multople scales에서의 feature를 이용하지 못했으며 같은 weight를 가지게 하였다. Densely Residual Laplacian Network (DRLN)는 residual 구조에서 cascading residual을 사용하여 low-frequency flow가 high, mid-level features의 기능을 학습하는 데 집중할 수 있도록 한다. 더불어 denslely concatenated redisual blocks는 high-level complex features를 학습하는데 도움을 준다. 또한, feature map 사이의 inter and intra-l.. 2022. 8. 9. [TOFlow] Video Enhancement with Task-Oriented Flow 논문 요약 많은 video enhancement 알고리즘은 비디오 시퀀스에 프레임을 register하기 위해 optical flow에 의존한다. 하지만 정확한 flow를 예측하는 것은 어렵고 어떤 경우 optical-flow자체가 특정 비디오 처리 문제에 sub-optimal한 경우도 있다. 이 논문에서는 하고자 하는 task에 맞는 motion representation을 self-supervised한 방법으로 학습할 수 있는 task-oriented flow (TOFlow)를 제시한다. 네트워크는 각 task에 맞는 flow를 학습할 수 있으며 motion estimation component와 video processing component로 구성되어있다. 더불어 평가를 위해 low-level 비디.. 2022. 7. 18. 이전 1 2 3 4 다음
