Evaluarea performanței algoritmului SR-GAN

Aceste operațiuni au avut scopul de a evalua calitatea imaginilor sintetice produse și s-au realizata prin inspecția vizuală comparativă a imaginilor sintetice S-2 de super-rezoluție față de imaginile SPOT utilizate pentru antrenarea algoritmilor. În urma acestor verificări și validări, s-au tras concluzii referitoare la anumite aspecte din fluxul de procesare care pot fi optimizate pentru a crește calitatea produselor obținute, cum ar fi recomandări privind numărul și sezonalitatea imaginilor SPOT de intrare sau modificarea unor parametri de procesare.

 

În prima fază, calitatea rezultatelor a fost evaluată prin calcularea indicilor PSNR și SSIM. Blocul PSNR calculează raportul semnal-zgomot de vârf, în decibeli, între două imagini. Acest raport este folosit ca măsurătoare de calitate între imaginea originală (Spot-6) și imaginea S2 super-rezolvată rezultată. Cu cât PSNR este mai mare, cu atât calitatea imaginii comprimate sau reconstruite este mai bună.

Conform valorilor PSNR, Modelul 1, bazat pe o singură pereche de imagini, a avut cele mai bune rezultate dintre cele trei modele. Cu toate acestea, atunci când evaluăm vizual imaginile, primul model pare să aibă cele mai proaste performanțe în comparație cu celelalte. Pentru a fi relevantă, o metodă bună și obiectivă de evaluare a calității perceptive a imaginii ar trebui să încerce să cuantifice vizibilitatea erorilor (diferențelor) dintre o imagine distorsionată și o imagine de referință folosind o varietate de proprietăți cunoscute legate de sistemul vizual uman, în afară de semnal. raportul la zgomot. În ipoteza că percepția vizuală umană este foarte adaptată pentru extragerea informațiilor structurale dintr-o scenă, introducem un cadru complementar alternativ pentru evaluarea calității bazat pe degradarea informațiilor structurale. Utilizând indicele de similaritate structurală (SSIM), am comparat luminanța, contrastul și structura imaginii originale de foarte înaltă rezoluție și cele rezultate. O valoare SSIM mai apropiată de 1 arată o asemănare mai bună între imagini, în timp ce o valoare apropiată de 0 implică faptul că imaginile comparate sunt diferite. În acest caz, al treilea model, bazat pe 10 perechi de imagini, a obținut cel mai bun scor SSIM, arătând că imaginea rezultată este cea mai apropiată de imaginea SPOT 6 originală.

 

Deși SSIM este o metrică care încearcă să reproducă o percepție vizuală umană pentru a îndeplini mai bine sarcinile care implică diferențierea între un eșantion și o imagine de referință, considerăm că sistemul de percepție vizuală umană este cel mai capabil să identifice informațiile structurale dintr-o scenă și deci identificând diferențele dintre informațiile extrase dintr-o referință și o scenă eșantion. Prin urmare, am realizat un sondaj de evaluare în care am cerut oamenilor să evalueze asemănarea imaginii între o imagine SPOT-6 a sitului Sighișoara și trei imagini obținute prin evaluare vizuală de către un număr de 51 de respondenți.

 

Conform evaluării umane, Modelul 3, bazat pe 10 perechi de imagini, a fost votat drept cel mai performant model de 63% dintre respondenți, în timp ce Modelul 2 a primit 26%. La utilizarea unei scale de 6 valori, de la 1 la 6, 66% dintre respondenți au clasificat Modelul 3 ca fiind cele mai performante valori, alegând valori de 4 și mai sus, în timp ce 50% au evaluat Modelul 3 ca având o performanță similară. Cu toate acestea, Modelul 3 a primit cel mai mare procent de voturi pentru valorile 5 și 6 – 39% – comparativ cu 24% pentru Modelul 2 și doar 9% pentru Modelul 1. Rezultatele bazate pe percepția evaluării umane sunt incompatibile cu rezultatele obținute din indici de performanță, aspect care va fi investigat într-un studiu următor pentru evaluarea performanței indicilor.

Descrierea metodelor de validare a produselor obținute în cadrul proiectului este redată în livrabilul GMV-AIRFARE-D8.

Model PSNR (db) SSIM
Model 1 20.7 0.25
Model 2 8.4 0.20
Model 3 14.4 0.64

Tabel 1. Evaluarea calității imaginii prin indici de performanță

Model 1 Model 2 Model 3
Procentaj din voturi 11% 26% 63%

Tabel 2. Evaluarea calității imaginii bazată pe percepția umană privind similitudinea dintre imaginile sintetice și imaginile SPOT

Model Valori pe scara de evaluare
1 2 3 4 5 6
Model 1 18% 32% 23% 18% 7% 2%
Model 2 4% 20% 26% 26% 17% 7%
Model 3 2% 10% 22% 27% 23% 16%

Tabel 3. Evaluarea calității imaginii bazată pe percepția vizuală utilizând o scară de similitudine de la 1 la 6