Сучасна фототехніка, на жаль, далека від досконалості. Навіть найдорожчий фотоапарат у екстреній ситуації може дати збій. Відбувається щось екстраординарне, людина дістає камеру, натискає на спуск затвора, але насправді знімок виходить занадто розмитим, А втрачену мить повернути вже не вдасться. В цьому випадку допоможе новий програмний алгоритм SmartDeblur.

Програма SmartDeblurбула розроблена Володимиром Южиковим, який постарався в одному продукті вирішити дві найважливіші проблеми, через які знімки стають розмитими. Зображення може стати неякісним унаслідок поганого фокусування та внаслідок руху камери під час відкритого затвора. Будь-яка з цих двох помилок може сильно зіпсувати фотографіюПроте Володимир впевнений, що неякісний ще не повністю втрачений для історії.

Автор проекту SmartDeblurкаже, що навіть у разі розмитої фотографії на знімку виявляються всі необхідні пікселі, просто кожен з цих пікселів особливим чином розмитий у двомірному просторі. Для подолання цієї проблеми необхідно знайти спосіб ліквідувати це розмиття та ставити кожен піксель на своє законне місце. Дива не відбувається, алгоритмSmartDeblur не дозволяє як за помахом чарівної палички отримувати надчітке зображення професійного рівня. Проте результат виходить більш ніж вражаючий. Програма має простий та функціональний інтерфейс із набором «повзунків» для регулювання параметрів зображення. Освоєння можливостей програми відбувається у процесі її експлуатації. Просто завантажте потрібний знімок, пересуньте кілька повзунків та оцініть пропонований результат. Утиліта може похвалитися винятковою продуктивністю, всі зміни, що вносяться користувачем, відображаються в режимі реального часу.

Скріншоти:

Особливості програми:

Простий, інтуїтивно зрозумілий інтерфейс. Висока швидкість. Обробка зображення розміром 2048*1500 пікселів займає близько 300 мс у режимі Preview (коли пересуваються повзунки налаштувань) та 1.5 секунди у чистовому режимі (коли відпустили повзунки налаштувань). Вибір параметрів у режимі реального часу. Немає необхідності натискати кнопки Preview, все робиться автоматично, потрібно лише рухати повзунки налаштувань спотворення. Тобто. немає жодного маленького вікна попереднього перегляду та кнопок Apply. Підтримка відновлення змащених та розфокусованих зображень Можливість підстроювання вигляду PSF

Представляю вашій увазі програму smartdeblur для усунення змаза та розфокусування. Її перші дистрибутиви та вихідні джерела можна завантажити на github.com/Y-Vladimir/SmartDeblur , останні, платні дистрибутиви доступні на сайті smartdeblur.net.

Нижче можна побачити результат обробки розмитого зображення. Фотографію було отримано фотоапаратом Canon 500D, об'єктивом EF 85mm/1.8. Фокусування в ручному режимі для отримання розмиття. Як бачите, текст абсолютно не читаємо, можна лише вгадати, що це якесь діалогове вікно.

А це результат обробки:

Майже весь текст можна прочитати, хоча є деякі спотворення.

Згадаймо теорію

Під час спотворення з кожного пікселя вихідної фотографії утворюється відрізок (під час звичайного змаза) або пляма (під час розфокусування). Все це накладається і в результаті виходить спотворена фотографія – це називається конволюцією чи згорткою зображення. Закон по якому розмазується один піксель називається функцією спотворення або PSF (функція розподілу точки - Point spread function).

Щоб відновити зображення, нам потрібно звернути (повернути в зворотному порядку) згортку, але при цьому враховувати шум. Але це якраз не так просто. На допомогу приходить теорема про згортку та перетворення Фур'є. Більш детально описувати теорію на цьому блозі, гадаю, не варто. Так як сама мета запису - дати посилання на програму і сказати, що вона вміє. Якщо вас цікавлять теоретичні питання, то автор присвятив їм три статті:

habrahabr.ru/post/136853
habrahabr.ru/post/147828
habrahabr.ru/post/152885

Опис

Програма SmartDeblur демонструє відновлення розфокусованих та змащених зображень.

Основні функції:

Велика швидкість. Обробка фотографій із роздільною здатністю 2048*1500 займає близько 300 мс у режимі Preview.
Підбір налаштувань у Real-time. Не потрібно натискати кнопку Preview, все робиться в автоматичному режимі, потрібно лише пересувати повзунки опцій.
Обробка відбувається для фотографії у повному дозволі. Немає маленьких вікон передпроглядів і кнопок Застосувати.
Відновлення розфокусованих та змащених зображень
Підстроювання виду PSF

Основний акцент був зроблений на швидкість обробки. В результаті вона перевершує комерційні аналоги.

Правда в програмі є ряд особливостей і багів – при деяких значеннях фотографія покривається брижами.

Порівняння

Порівняємо якість обробки із платними аналогами.
Візьмемо 2 найвідоміші програми:

Topaz InFocus - topazlabs.com/infocus
Focus Magic - focusmagic.com

Братимемо рекламні зображення, які є на їх офіційних сайтах - це гарантує, що параметри програм оптимальні (швидше за все розробники добре відбирали фотографії та підбирали налаштування перед тим як опублікувати рекламу на сайті).

Відновлення змащування:

topazlabs.com/infocus/_images/licenseplate_compare.jpg

Обробка з такими параметрами:

Результат на сайті Topaz InFocus:

Другий приклад – відновлення розфокусування.

Беремо приклад на сайті Focus Magic: focusmagic.com/focusing-examples.htm

AKVIS Refocus- програма для виправлення фокусування фотографій, яка покращує чіткість зображень, підвищує їх різкість та додає художні ефекти розмиття та боці. Refocus зробить ваші фотографії більш якісними та підвищить їхню естетичну цінність.

Цифрові фотокамери допомагають зафіксувати найважливіші моменти, але іноді фотографія виходить нечіткою, каламутною, а у фокусі виявляється незначний об'єкт заднього плану.

У таких випадках допоможе програма AKVIS Refocus. Програма допомагає покращити різкість нечітких, розмитих, розфокусованих знімків. Можна виправити зображення повністю або "привести до фокусу" лише певний об'єкт, виділивши його на тлі елементів другого плану. За допомогою програми можна також додати ефекти зйомки з малою глибиною різкості.

Програма працює у п'яти режимах: і .

Режим допомагає підвищити різкість нечіткого знімка, зробити зображення чіткішим і виразнішим, перенести фокус з одного об'єкта на інший.

Навіть якщо фотографія хороша і не потребує обробки, завжди можна акцентувати увагу на окремих фрагментах, наприклад, виділити очі, застосувавши прийом вибіркового фокусування. Зазвичай цей прийом використовують під час зйомки портретів, макрозйомки, фотографування крупним планом. За допомогою AKVIS Refocus можна відредагувати готову фотографію: виділити об'єкт, встановити для нього налаштування фокусування і при необхідності розмити решту області.

Режим, також відомий під назвою тілт-шифт", дозволяє залишити смугу чіткого зображення (зону різкості) і розмити фотографію по краях, з плавними переходами між областями, додаючи ефекти бік е. Цей режим надає об'єктам на зображенні "іграшковий" вигляд. Люди, будинки, автомобілі, зняті в натуральну величину, виглядають як мініатюрні моделі. Фотографи досягають такого ефекту за допомогою спеціального об'єктива tilt-shift. Використовуючи програму AKVIS Refocus, можна перенести будь-яку фотографію у світ мініатюрних моделей!

Режим дозволяє наголосити на певному об'єкті фотографії, розмиваючи решту зображення. На відміну від попереднього режиму дозволяє задати форму зони різкості (еліпс, прямокутник). При зйомці подібний ефект досягається максимальним розкриттям діафрагми. За допомогою AKVIS Refocus можна розмити фон зображення, вибравши область у фокусі та поза фокусом та задавши параметри боці.

Режим дає змогу імітувати рух предметів на статичних зображеннях. Він створює ефект об'єкта, що швидко рухається, розмиваючи зображення в лінійному напрямку.

Ви можете застосувати ефект до цілого зображення або змістити акцент на певні області шляхом розмиття фону. Додайте своїм зображенням більше динаміки!

Режим створює кругове розмиття, яке зазвичай викликається обертанням або масштабуванням камери під час зйомки зображення. У цьому режимі ви можете вибрати один із двох типів розмиття:

Лінійне розмиттястворює ілюзію переміщення об'єкта у напрямку до глядача або від нього.
Кільцеве розмиттястворює ілюзію обертання зображення.

За допомогою візуальних ефектів розмиття ваші фотографії набудуть більшої виразності та глибини.

Тепер передові прийоми професійних фотографів доступні для всіх!

Не потрібно бути фахівцем, щоб отримати чудові результати в AKVIS Refocus. Програма проста у використанні, навіть новачок легко освоїть її. У програму включено кілька готових до використання пресетів, що дозволяє швидко розпочати роботу та допомагає знайомству з програмою. Можна спостерігати обробку фотографії в реальному часі та порівнювати вихідне зображення та результат.

AKVIS Refocus доступний у двох варіантах: як звичайна самостійна програма ( standalone) і як плагін (підключається модуль, plugin) для графічних редакторів.

Функціонал залежить від типу ліцензії. Спробуйте усі можливості AKVIS Refocus протягом ознайомчого періоду!

Програма доступна російською мовою.

Розфокусовані фотографії стають все більш популярними з деяких причин, але не враховуючи так усіма улюблені фільтри, як у Instagram, вони зазвичай лише дратують. Припустимо, ви постаралися зняти унікальне у своєму роді сімейне відео тільки для того, щоб виявити, що зображення розмито і тремтить.

Виявляється, існують програми, які можуть покращити різкість фотографій без метушні у Photoshop. Хоча в більшості випадків з розмитого фото або відео ніколи не зробити різку та красиву копію, ці інструменти можна використовувати для відновлення важливих деталей та повернути різкість, щоб зробити матеріал трохи якіснішим.

Природно, не варто очікувати, що, зробивши ряд сильно розфокусованих фотографій, ви відредагуєте їх так, що вони згодяться на обкладинку журналу, однак ви можете витончуватися в стилі серіалу CSI, використовуючи ці програми, і отримати дивовижні результати.

Повністю безкоштовний додаток, яким можна користуватися скільки завгодно разів, і багато в чому він дружелюбніший, ніж Focus Magic. З іншого боку, його робота не відрізняється стабільністю (програма зависала кілька, доки я її тестував, особливо при завантаженні надто важких зображень), а результати, які видає програма, можуть бути різними.

Є кілька корисних можливостей у SmartDeblur – наявність zoom-опції, а також опції Fit To Window (Підлаштувати під розмір вікна). Також можна порівнювати результати з оригіналом, натиснувши на "Show Original". Передогляд доступний для всього зображення. Програма містить зразок, на якому можна навчитися збільшувати різкість, щоб прочитати розмитий текст.

Випробувавши інструмент на своїх власних фотографіях, я виявив, що він не працює так само добре, як Focus Magic. Але мені вдалося отримати хороші результати з картинкою, що містить текст.

Плюси:Абсолютно безкоштовне, що має доброзичливий інтерфейс, дуже корисне для прочитання на фотографії розмитого тексту.
Мінуси:Не дуже стабільне, не так вже й добре працює з реальними фотографіями (але випробувайте програму самі, щоб винести свій вердикт).

Намагаючись відновити втрачені деталі, ви відчуєте, що працюєте з CSI, але не чекайте нічого видатного.

Focus Magic

Focus Magic – це щось більше, ніж просто програма збільшення різкості. Згідно із заявами з їхнього сайту, використовуються «просунуті криміналістичні деконволюційні технології, які буквально, як рукою, знімають розмиття». Теоретично, додаток справляється з розфокусованими зображеннями та розмитими відео, відновлюючи втрачені деталі. Але чи справді це працює?

Програма Focus Magic – далеко не автоматичний інструмент. І це величезний мінус, оскільки безкоштовна пробна версія дозволяє виконати лише 10 операцій. Після цього потрібно буде придбати повну ліцензію, яка коштує 45 доларів. Після завантаження зображення вам спочатку необхідно вирішити, чи фокусуватимете, прибиратиме розмиття при русі, дефокусуватимете або очищатимете зображення від сміття. Потім починається тривалий процес підстроювання параметрів.

Оскільки можна побачити прив'ю лише для невеликої області зображення, йде безліч спроб, щоб досягти гарного ефекту для всієї фотографії.

Плюси:Виглядає як професійний інструмент, за допомогою якого справді можна досягти добрих результатів.
Мінуси:Робота вимагає безлічі спроб, але їх у користувача безкоштовною версією лише 10. До того ж, відсутня опція зміни масштабу (зуму), що завдає незручностей.

За допомогою програми можна повернути різкість зображень, якщо у вас є терпіння та гроші.

Додаток на відміну від своїх конкурентів має кілька особливостей: дуже докладним керівництвом і самодостатністю. Під самодостатністю я розумію здатність програми взяти на себе важку роботу з налаштування, якщо забажаєте. Якщо ви знаєте, що робите, можете отримати доступ до просунутих налаштувань, але це зовсім необов'язково.

Після проходження навчання можна приступати до обробки. Для цього необхідно помістити червоний квадрат на область із сильною розмитістю та натиснути на кнопку Process. Найчастіше на цьому все. Якщо результати не задовольняють, можна перемістити квадрат в іншу область і спробувати знову. Додаток виконує свою роботу добре, йому вдалося перетворити деякі розмиті фотографії на цілком гідні.

Як бачите, мінусом є водяні знаки, які накладаються на всі фотографії, які ви обробляєте за допомогою безкоштовної версії програми. Якщо вам дійсно подобається програма і хочете позбавитися водяних знаків, ліцензія буде коштувати вам 39 $.

Плюси: Легкість у використанні, хороші результати обробки, з текстом - гірше.
Мінуси:На усі оброблені фото накладаються водяні знаки. Ліцензія коштує 39 $.

Висновки

Хочете – вірте, хочете – ні, але я витратив півдня, досліджуючи цю тему. Спробувавши підвищити різкість у багатьох розмитих фото і відео, я зрозумів одну річ - краще відразу знімати хороший матеріал. Але якщо з якоїсь причини «план А» не спрацював, то вищезазначені додатки здатні вичавити дещо з вашого матеріалу, але це насправді залежить від того, чого ви прагнете досягти.

Дляусунення змащування та розфокусування практично нічого немає. Відповідний математичний апарат почав розроблятися приблизно 70 років тому, але, як і для багатьох інших алгоритмів обробки зображень, все це знайшло широке застосування лише нещодавно. Наведемо як демонстрацію пару картинок:

Праве зображення отримано з лівого, без використання 48-бітного формату (у цьому випадку буде 100% відновлення вихідного зображення) - звичайний ліворуч PNG, розмитий штучно. В результаті ми бачимо якісніше зображення.

Багато хто вважає, що розмиття необоротна операція та інформація безповоротно губиться, т.к. кожен піксель перетворюється на пляму, все змішується, а при великому радіусі розмиття виходить однорідний колір по всьому зображенню. Це не зовсім так – вся інформація просто перерозподіляється і може бути однозначно відновлена. Виняток становлять лише краї зображення шириною радіус розмиття, де повноцінне відновлення неможливо.

Продемонструємо це, використовуючи невеликий приклад для одновимірного випадку. Уявимо, що у нас є ряд пікселів зі значеннями:

х 1 | х 2 | х 3 | x 4 … - Вихідне зображення.

Після спотворення значення кожного пікселя підсумовується значенням лівого, тобто. x" i = x i + x i-1. Треба ще поділити на 2, але опустимо цей крок для простоти. В результаті маємо розмите зображення зі значеннями пікселів:

x1+x0 | x2+x1 | x3+x2 | x 4 + x 3 … - Розмите зображення.

Тепер спробуємо відновити. Віднімемо послідовно по ланцюжку значення за схемою: з другого пікселя – перший, з третього – результат другого, з четвертого – результат третього тощо. Отримуємо:

x1+x0 | x 2 - x 0 | x3+x0 | x 4 – x 0 … - Відновлене зображення.

У результаті замість розмитого зображення отримали вихідне, до пікселів якого додана невідома константа x 0 з чергується знак. Це вже набагато краще - цю константу можна підібрати візуально, можна припустити, що вона приблизно дорівнює значенню x 1 , можна автоматично підібрати з таким критерієм, щоб значення сусідніх пікселів "скакали" якнайменше і т.д. Але все змінюється коли ми додаємо шум (який завжди є в реальних зображеннях). При описаній схемі на кожному кроці буде накопичуватися внесок шуму в загальну складову, що може дати абсолютно неприйнятний результат. Але, як ми переконалися, відновлення цілком реальне навіть у такий примітивний спосіб.

Модель процесу спотворення

Тепер перейдемо до більш формального та наукового опису процесів спотворення та відновлення. Розглядатимемо лише напівтонові чорно-білі зображення в припущенні, що для обробки повнокольорового зображення достатньо повторити всі необхідні кроки для кожного з колірних каналів RGB. Введемо такі позначення:

f(x, y) - вихідне неспотворене зображення.

h(x, y) - функція, що спотворює.

n(x, y) – адитивний шум.

g(x, y) - результат перекручування, тобто. те, що ми спостерігаємо в результаті (змащене або розфокусоване зображення).

Сформулюємо модель процесу спотворення так:

g(x, y) = h(x, y) * f(x, y) + n(x, y). (1)

Завдання відновлення спотвореного зображення полягає в знаходженні найкращого наближення f"(x,y) вихідного зображення. Розглянемо кожну складову докладніше. З f(x, y) і g(x, y) все досить зрозуміло. Розберемо функцію h(x, y ): у процесі спотворення кожен піксель вихідного зображення перетворюється на пляму для випадку розфокусування і у відрізок для випадку простого змащування.Або можна сказати навпаки, що кожен піксель спотвореного зображення "збирається" з пікселів деякої околиці вихідного зображення. і в результаті ми отримуємо спотворене зображення, те, за якою функцією розмазується або збирається один піксель і називається функцією спотворення.

Інші синоніми – PSF (Point spread function, тобто функція розподілу точки), ядро спотворюючого оператора, kernel та інші. Розмірність цієї функції менша за розмірність самого зображення. Наприклад, у початковому розгляді прикладу, розмірність функції була 2, т.к. кожен піксель складався із двох.

Спотворюючі функції

Подивимося, як виглядають типові спотворюючі функції Будемо використовувати стандартний інструмент - Matlab, він містить у собі все необхідне для найрізноманітніших експериментів з обробкою зображень і дозволяє зосередитись на самих алгоритмах, перекладаючи всю роботу на бібліотеки функцій. Наведемо приклади виду PSF:

PSF у разі розмиття за Гаусом функцією fspecial("gaussian", 30, 8).

PSF у разі змащування функцією fspecial("motion", 40, 45).

Операція застосування спотворюючої функції до іншої функції (у разі до зображення) називається згорткою (convolution), тобто. деяка область вихідного зображення згортається один піксель спотвореного зображення. Позначається через оператор "*" (не плутати з множенням). Математично для зображення f з розмірами MxN та спотворюючої функції h c розмірами mxn це записується так: