Как найти человека по фотографии в ВК программа

У вас есть фото кого-то, и вы хотите узнать о нем (ней) больше?

Используя пару методов, описанных ниже, вы сможете найти этого человека по фото в ВК + получите все ответы, которые ищете о нем.

Вы понимаете, что любой незнакомец может узнать о вас многое, просто щелкнув на камеру на улице? Узнать адрес, ваши увлечения, посмотреть друзей и близкие контакты, даже кличку питомца.

Да ладно, успокойтесь. Все не так просто, как кажется на первый взгляд.

Я сейчас покажу вам несколько интересных фишек, знать которые полезно не только, чтобы самому искать кого-то, но и чтобы самому быть готовым к чужому любопытству к собственной персоне.

Социальная сеть — это мощное пространство для общения и поиска интересных людей, а также давно потерянных контактов, включая одноклассников, бывших коллег и других.

А иногда нам хочется найти кого-то, чьего имени и других координат не знаем. Найти человека по фото в ВК с некоторыми оговорками можно, инструментарий предоставлен довольно широкий.

Как найти человека по фото в 2021 году — 3 способа

Существуют действительно крутые методы.

Предыстория и FindFace

В 2016 году появилось приложение FindFace.

Оно работало с многими социальными сетями, в том числе, предлагало поиск ВК по фото бесплатно — просто нужно было запустить мини-программу, имея даже не слишком качественную картинку. Все остальное делала крайне мудрая нейросеть.

Но скоро возникли проблемы.

Дело в том, что приложение настолько хорошо и безупречно справлялось со своей работой, что появились жалобы, недовольство, страх пользователей, которых «обнаруживали» не всегда желанные люди.

Тогда FindFace было официально удалено из всех сторов, начиная от официальных — AppStore и Google Play, заканчивая менее популярными.

Еще какое-то время сохранялась интрига, ведь «по рукам» продолжали ходить apk-файлы, позволяющие найти страницу ВК по фото. Но потом разработчики сказали, что больше не будут поддерживать свое детище, и оно, казалось бы, кануло в Лету.

Хотя все не так однозначно, и по-прежнему сохраняется интерес к вопросу как узнать, что за случайного человека вам удалось отыскать на небольшой картинке. А нейросети только поумнели за прошедшее время.

Рабочий способ найти человека в ВК

Спойлер: поиск профиля ВК по фото все равно сохранился.

Поддержка социальной сети не слишком афиширует свои возможности в этом плане, сохраняя их для опытных и продвинутых юзеров. Однако вот что можно сделать в рамках отдельно взятой социальной сети.

Рассказываю крутой лайфхак, который обязательно принесет вам желаемый эффект и выгоду.

1. Для начала вам нужно само фото. Оно должно быть в хорошем качестве. Да, приложение FindFace было способно отыскать лицо буквально по изображению, которое сделано на непонятную веб-камеру в каком-нибудь торговом центре на пульте охраны. К сожалению, сейчас алгоритмы социальной сети не настолько «продвинутые». Поэтому размер должен быть не менее 600 на 1000, чтобы дальнейшие действия принесли какой-либо значимый результат.
2. Берете это фото, а затем загружаете в любой из собственных альбомов. Он должен быть открытым — это единственное условие для предлагаемого «лайфхака». Готовы рискнуть?
3. Далее вам нужно кликнуть на изображение.
4. Смотрите на строчку браузера. Кусочек, который необходим, чтобы найти человека ВКонтакте по фото, «закодирован» на крошечном отрезке. Сориентироваться поможет слово photo в адресной строке, а далее будет длинное число, скорее всего с пробелом на том или ином отрезке. Заканчивается эта цифра значком процента (%), но вот уже он нам не нужен. Копируйте все, что располагается от английского слова и до процента.
5. Теперь переходите в область поиска. ВК предоставляет довольно неплохой инструмент для того, чтобы отыскать различную информацию. В данном случае вам необходим раздел «Новости», а уже в нем — «Фотографии».
6. Наберите в строке поиска слово «copy:», кавычки уберите, а двоеточие обязательно оставьте. После этого вставьте скопированный ранее адрес фотографии (тот, где photo плюс длинная числовая комбинация).
7. Запустите поиск, для этого просто нажмите на клавиатуре «Enter». На телефоне все эти манипуляции провести тоже можно, но это будет гораздо менее удобно и намного больше риска ошибиться.

Теперь ждите. Если система найдет совпадения по номеру фотографии, то вам покажут, где они расположены. Сразу стоит оговориться, что надежность у методики далеко не стопроцентная.

Велик риск, что соцсеть ничего не найдет, особенно если фото раньше не было в самом ВК, а скачано откуда-то еще. Тем не менее, прежде чем переходить к другим методам розыска человека, рекомендуется начать с самого простого, удобного и не требующего посторонних ресурсов.

Палю простую фишку с Яндексом

Ниже я расскажу про поиск людей по фото в ВК. Но хочу рассказать про то, как я сам ищу людей используя Яндекс картинки.

Я искал персонал в массажный салон. Зашел на авито и обнаружил что что бы открыть номер телефона в резюме нужно заплатить. Черт возьми, я не против заплатить, но мне стало интересно можно ли найти человека по фотографии и напрямую связаться с ним.

Как оказалось можно.

Все что нужно это взять фото и перейти в Яндекс картинки и вставить фото.

Для примера я взял своё фото.

Переходим в в Яндекс картинки и добавляем фото.

Выбираем файл загружаем и получаем результаты.

В итоге я нашел свой сайт, ссылку на свой профиль в ВК. Ну и еще узнал, что кто-то тырит мои изображения с сайта, с фоткой моего лица хаха.

Попробуйте, я так нашел уже не один десяток людей.

Теперь поехали, расскажу, что можно добыть во ВКонтакте.

Группы поиска

В социальной сети есть группы, помогающие искать по фото в ВК. Тут надо остановиться и предупредить о важных моментах, связанных с безопасностью:

1. Не все эти группы реальные. За многими скрываются мошенники, которые потребуют предоплату, а потом скроются без вести. Поскольку розыск человека через соцсети далек от какой-либо официальной деятельности, то вы никогда ничего потом не сможете доказать.
2. Бесплатно они вообще не работают. Поэтому заранее смиритесь с необходимостью отдать некоторую сумму денег. Чаще всего, она не слишком большая, но вкупе с риском вовсе потерять финансы, заставляет задуматься: а надо ли вообще искать.
3. Мошенники могут не только выманить у вас деньги, но и попытаться добыть уже вашу персональную информацию. Вот этого точно нельзя делать ни в коем случае: сообщать свой логин и пароль, другие конфиденциальные данные.

Как любой не вполне «официальный» бизнес, этот связан с определенным количеством риска. Но есть и группы, которые более или менее честно отрабатывают затраченные с вашей стороны деньги. Вот способы выяснить, насколько эффективно работают:

1. Попросить отзывы клиентов. Проверить, насколько они фейковые, довольно трудно, но отсутствие фидбека в принципе – это повод сразу насторожиться и не связываться.
2. Аналогично стоит отнестись к ситуации, если вам показали отзывы, а все они восторженные, восхищенные и полностью удовлетворенные. Нечестные люди работают именно так, предоставляя слишком «сладкий» фасад, за которым кроется банальный обман.
3. По возможности поиском в ВК поищите данные по той группе, к услугам которой хотите прибегнуть. Наверняка найдете реальные отзывы. В норме далеко не все они будут восторженными и радужными, но если преобладают сухие «спасибо, помогли», то скорее всего, ребята отрабатывают вложения более или менее честно.
4. Вообще, правило отзыва: если слишком хвалебный, скорее всего — фейк. Реальные довольные клиенты хотя и благодарят, но без потока восхищенных слов.

Принцип групп поиска довольно простой.

Вы даете фотографию, оплачиваете услуги, а они используют софт для поиска. Обычно это модифицированный FindFace, который так или иначе продолжает работать. Именно поэтому так важна была предыстория с нейросетью и поисковым приложением.

Оно продолжает существовать, хотя и полностью отошло в «серый», а то и «черный» сегмент интернета.

Получи больше подписчиков
Бесплатные подписчики за выполнение заданий, или быстрая недорогая накрутка. Что выберешь ты?

Поиск с помощью расширения для браузера

Если со встроенными методами поиска фото ВК постигла неудача, а шанс на это довольно большой, то можно попробовать другие методы.

Они основываются на том, что социальная сеть, в целом, открытая. Большинство данных, если только не прячутся намеренно своими владельцами, «лежит» на виду для поисковиков. Ничего плохого в этом нет, ведь ВК используют для коммерческих целей, получают прибыль от пабликов и групп, а с уходом Инстаграма и Фейсбука, появились «селебрити»-страницы.

Поэтому использование расширения для браузера абсолютно законно, да еще и бесплатно. Вот, что надо сделать:

1. Сначала заходите в официальный магазин приложений для того браузера, которым пользуетесь. Программа, о которой речь пойдет дальше, есть под Chrome, Yandex.Браузер, Firefox и некоторые другие.
2. Далее ищете приложение, которое называется Image Search Options. Просто набираете в строке поиска, оно появится сразу же.
3. Скачиваете и устанавливаете.
4. Теперь у вас есть возможность искать картинки сразу по нескольким поисковым системам, что гораздо удобнее, чем применять только внутренние ресурсы ВК, только Google или Yandex. Это приложение объединяет все «усилия», в результате чего шанс на удачный поиск повышается.

Теперь, когда вы установили это приложение, алгоритм поиска еще больше упрощается. Простой способ при взаимодействии с ВК:

1. Загружаете нужную картинку в свой альбом. Если вы ранее пробовали внутренний поиск социальной сети, то она уже есть, ничего дополнительно делать не нужно.
2. Заходите на эту фотографию. Здесь нажимаете правую кнопку мышки.
3. В выпадающем меню находите Image Search Options. Приложение предложит поискать по Google, TinyEye и т.д. Или сразу по всем источникам. Не забывайте, что если выберете последний вариант, то это займет несколько больше времени. Но с быстрым интернетом опасаться нечего.
4. Запускаете поиск, ожидаете результатов.

Принцип точно такой же, как и во «встроенном» варианте от соцсети. Найти человека по фото ВК онлайн есть шансы, если изображения, аналогичные вашему, есть в открытом доступе.

Поэтому если вы захотите по скрину из сериала найти актера, то поиск наверняка удастся (у многих русскоязычных актеров есть свои официальные страницы в ВК). А если человек закрыл свою конфиденциальную информацию, то у вас ровным счетом ничего не получится. В закрытые сегменты интернета проникать поиск не умеет.

Можно ли установить FindFace

Эта программа официально больше не поддерживается уже в течение нескольких лет. Однако «по рукам» она все еще ходит, а встроенная нейросеть, по слухам, довольно хорошо справляется со своей задачей.

Можно найти людей, которые вам ее предложат за определенную сумму либо даже в интернете. Стоит предупредить о ряде опасных ситуаций:

1. Если скачиваете в интернете, огромный риск получить вместо желаемого софта вирус или троян, который причинит непоправимый вред вашему компьютеру или украдет личные данные, вплоть до номера кредитной карты.
2. Если покупаете у случайных людей, то сохраняется и этот риск, плюс добавляется то, что вас могут банально «кинуть» и ничего нигде не докажешь.
3. Использование приложения формально не запрещено, но оно сейчас сильно урезано в функционале по сравнению с оригиналом за счет того, что устарело. Работает только на компьютере и срабатывает примерно в 40-50%.

Только вам решать, использовать ли такой сомнительный метод. Важно помнить, что никаких гарантий никто не даст, все делаете на собственный страх и риск.

Группы «Ищу тебя»

Если вы сделали фото на улице, вам нравится девушка или молодой человек, но не решились познакомиться, то способов найти «объект» позже не так уж много.

Дело в том, что в данном случае проверка фото ВК не сработет, ведь изображение полностью уникальное.

Однако если вы ищете человека без каких-либо дурных целей, то вполне можно попросить его самого отозваться. Для этого существуют группы «Ищу тебя» (плюс обычно название города, а если мегаполис огромный, такой как Москва, то еще и с указанием района).

Работают эти группы несложно, вот алгоритм:

1. Вы добавляетесь в подписчики (обычно это обязательное правило).
2. Далее посылаете фото и текст в предложку.
3. Через какое-то время админ публикует фото вместе с вашими контактами. Помимо подписи и ссылки на свою страницу в ВК можно указать другие контакты: номер мобильного телефона или электронную почту.
4. А потом все зависит от стечения обстоятельств и удачи. Если человек, которого вы сфотографировали, захочет, то он вам напишет. Вполне возможно, завяжется более близкое знакомство.
5. Также вам могут подсказать другие посетители группы, например: «Этот парень работает у нас в офисе, зовут так-то». Комментарии чаще всего открыты. Но проверить, насколько вам говорят правду или сочиняют на ходу, разумеется, невозможно.

В идеале группы «Ищу тебя» рассчитаны именно на добровольное желание сфотографированного познакомиться.

Именно поэтому здесь важно грамотно составить объявление. Не пойдет просто: «Я сделал вот эту фотку, кто это». Человек, даже если себя узнает, может вообще испугаться «сталкерства».

Но если вы сумеете сделать привлекательное сопровождение, что-то вроде: «Ты самая красивая девушка, которую я видел, запала мне в душу», — то вполне возможно, польщенная леди отзовется.

Если вы ищете человека без злого умысла, то такая группа вашего города — эффективный и хороший способ получить обратную связь.

Нужно помнить, что ВК заботится о приватности своих пользователей, поэтому получить закрытую информацию очень непросто. Лучше использовать легальные методы.

Кстати, подписчиков надо?)

Бесплатные подписчики и лайки за выполнение заданий, или быстрая недорогая накрутка. Что выберешь ты?

Источник: niksolovov.ru

Как найти человека по фото в ВК – бесплатный поиск

Как найти человека по фото в ВК, если в распоряжении только фотография и желание найти её владельца? Весьма непросто, но осуществимо. Для этого пользователю предоставляются внутренние лайфхаки ВКонтакте, сторонние ресурсы и поисковые алгоритмы Яндекса и Гугла. В подробностях и по порядку о них читайте далее.

Как найти страницу в ВК по фотографии

Поиск по фото в ВК не ограничивается одним способом, использовать можно сразу несколько, причём одновременно. Поисковые алгоритмы ВКонтакте задействуют информацию только из недр платформы, в то время, как поисковики работают со всем информационным массивом, скопившимся в Интернете.

Findface

Поисковый алгоритм программы основывался на распознавании лиц, сопоставлении черт между исходной фотографией и аватарами пользователей ВКонтакте.

Tofinder

Альтернативный ресурс, позволяющий найти профиль по главному фото – Tofinder. Сервис предназначен для поиска точных совпадений по фото и выдаёт результат не всегда с первого раза, однако это лучше, чем покупать про-аккаунт предыдущего приложения.

Как найти человека по фотографии в ВК через Tofinder:

• сразу же на главной странице предлагают вставить ссылку на фотку или загрузить файл. Выбираем второй вариант;
• ждём, пока прогрузится картинка;
• вводим капчу (коды лёгенькие и хорошо видны);
• Ожидаем результатов. Как уже говорилось, не обязательно получится с первого раза, поэтому попробуйте 2-3 захода.

Используем поиск на сайте ВК

Стандартный поиск ВКонтакте полон сюрпризов: находит и страницу владельца приглянувшейся фотографии. Мемы и разные смешные картинки, разбежавшиеся в массы, найти проблематично, ведь результатов поиска выбьет сотни или даже тысячи, а проверить все не представляется возможным.

Для успешной работы функции необходимо, чтобы у пользователя, которого вы ищите, фотография в соц сетях находилась в открытом доступе, а не в закрытом альбоме. Заранее об этом знать нельзя, поэтому опишем алгоритм действий, а вы действуйте (шансы на успех остаются).

1. Авторизуйтесь в социальной сети (лучше в версии для ПК, так будет удобнее).
2. Загрузите нужное фото/картинку в один из своих открытых альбомов.
3. Откройте картинку так, чтобы в адресной строке отобразилась ссылка на неё.
4. В этой же строке найдите айди фотографии. Начинается словом photo, далее идут цифры. Нужный отрезок адреса заканчивается перед знаком процента %.
5. Скопируйте указанную часть ссылки.
6. Перейдите в раздел «Новости», выбрав в правом меню пункт «Фотографии».
7. В строке ввода вбейте следующую комбинацию copy:id с картинки, как показано на скриншоте, и начните поиск.
8. Полученные результаты следует проверить, перейдя по ним. Тот, где фото добавлено раньше и есть искомый.

Примите к сведению, что контакт и другие социальные сети наводнены фейковыми профилями, которые могут не иметь никакого отношения к владельцу фото.

Чтобы найти страницу ВКонтакте, можно искать не зная имени и фамилии по номеру телефона. Чтобы использовать для поисков восстановление страницы, нужно дополнительно знать фамилию и имя пользователя.

Поиск по картинкам от Яндекса

Все современные версии браузеров оснащены онлайн функцией поиска по картинке. Работают они по сходному принципу: ищут похожие на исходник фотографии по всем ресурсам. Единственный минус способа: поиск по фото ВКонтакте сработает, только если картинка находится на аватарке профиля. Для Яндекса алгоритм действий следующий:

1. Зайдите на Главную Яндекса. Справа будет значок фотоаппарата, означающий Картинки. Нажмите на него.
2. Далее варианта 2: добавить файл из числа находящихся на компьютере или вставить ссылку на фото из открытого источника. Выбираем первый.
3. После открытия через браузер поисковый алгоритм выдаст полученные результаты, совпадающие с исходной картинкой или похожие на неё.
4. Пролистнув страницу вниз, увидите перечень сайтов, на которых находятся найденные изображения. Выберите подходящий и перейдите по ссылке.

Поиск по картинкам в Google

Система поиска в Гугл не слишком отличается от отечественного браузера, только доступ ко всем картинкам получают иначе.

1. Переходим на Главную Гугла и выбираем раздел Картинки.
2. Нажимаем на появившийся значок фотоаппарата.
3. В новом окне выскакивает форма, предлагающая ввести ссылку или загрузить картинку с компьютера. Выбираем второй вариант.
4. На странице появляются результаты поиска людей. Если нужной ссылки среди ответов не нашлось, следует уточнить параметры.
5. Добавьте к картинке фамилию и имя человека, которого ищете. Если ссылки по-прежнему нет, вероятно, картинка не стоит на аватарке или страница защищена соответствующими настройками приватности.

Помимо описанных выше способов существуют платные приложения и сайты, которые обещают отыскать аккаунт мыслимыми и немыслимыми методами. Как правило, когда речь заходит о платных услугах в вк, речь о мошенниках, желающих украсть доступ к странице или персональным данным, запустив на устройство вирус. Есть сайты, которые в действительности не помогают: набивают трафик, зарабатывая деньги. Внимательно относитесь к таким услугам и не авторизуйтесь на сомнительных ресурсах!

Алевтина Зайцева (Написано статей: 109)

Автор аналитических статей, обзоров, руководств и инструкций. Благодаря своему образованию и опыту, Алевтина — настоящий специалист в пользовании социальными сетями и умными устройствами. Просмотреть все записи автора →

Источник: smm-guide.com

Ещё один поиск Вк по фото

Я люблю ввязываться в авантюры, и за последний месяц об одной из них я пару раз рассказывал друзьям, что вызывало восторг, поэтому решил поделиться с хабравчанами! Эта история про отважные пет-проекты, мощь опен-сорса и саморазвитие, а также основные технические детали. Надеюсь, вас это вдохновит.

1. Предыстория

В первой половине 2016-го в свет вышел нашумевший FindFace, позволяющий загрузить фото человеческого лица и находить соответствующий профиль Вк. Он вызвал большой общественный резонанс, привёл как к поиску девушек по скрытым фоткам на эскалаторах в метро и к обнародованию порноактрис с неприятными последствиями для их близких, так и к находкам потерянных близких, к нереально быстрому поиску преступников по случайным кадрам с камер, прям как в американских фильмах, только наяву.

В то время мне об этом сервисе говорили и ленты новостей, и друзья, я отвечал «ну да, прикольно», и только. Но спустя пару лет, в начале октябре 2018 на каком-то айтишном форуме я захотел связаться с одним пользователем по специфическому вопросу, вот только он туда уже давно не заходил. Зато там было его хорошее фото, и тут-то я вспомнил про крутой сервис!

Побежал на их сайт и разочаровался – в сентябре 2018, буквально за месяц, они перестали предоставлять свои услуги физ.лицам, и бесплатно, и даже за деньги, перейдя в сегмент b2b и b2g. Оно и понятно, пиар уже сработал, а этических вопросов так возникает куда меньше. Но меня, законопослушного гражданина, это огорчило. И не только меня: фан-группы ФайндФейса пестрили сообщениями о том, что люди готовы заплатить в 10 раз больше, лишь бы им помогли найти нужного человека.

Я стал искать аналоги, но они все были либо точным поиском, но по крайне ограниченной выборке вроде нескольких сотен знаменитостей из Википедии, либо обширным, но почти бесполезным по точности поиском через Гугл/Яндекс.

Пару рабочих дней я размышлял, что же сложного в создании такого сервиса, который бы и точно искал людей, и по всему Вк? Решил, что ничего, ведь у меня тогда уже были базовые познания в data science, разработке и администрировании. Поэтому в пятницу, приехав с работы домой, я взялся за дело.

За вечер я накидал скрипт, который парсит профили Вк, находит фото, индексирует по ним лица и сохраняет в БД. Потом просидел ещё пару суток почти без сна, заставил это дело безостановочно работать на своём сервере. Началась новая трудовая неделя, я был очень уставший, но ещё больше довольный и полный энтузиазма! Ведь мой скрипт медленно, но неумолимо обходил весь Вк.

2. Техническое устройство

2.1. Индексирование

Как вы считаете, что происходит после того, как вы отправляете запрос в любую крупную поисковую систему? Не важно, поиск текста в Яндексе, Google или поиск лиц в FindFace или моём сервисе. Многие, особенно не-айтишники, с трудном представляют внутренние механики технических процессов, а они бывают нетривиальны даже казалось бы в простых задачах.

В случае поисковых систем магия заключается в том, что при получении запроса они не начинают обегать все страницы в интернете, ища там ваш текст, или весь Вк, сравнивая вашу фотку со всеми подряд, – это бы занимало астрономические объёмы времени. Вместо этого, поисковые системы сперва индексируют нужные данные.

В случае текста (и подобных тексту данных вроде ДНК) в ближайшем приближении могут использоваться хэш-таблицы или префиксные деревья. В случае фоток тоже нужны индексы, которые сильно сократят время поиска. Для этого я использовал библиотеку face_recognition, которая позволяет преобразовать фото лица, если правильно помню, в 128-мерный вектор признаков со значениями от -1 до 1 (далее буду называть его просто хэш). Для поиска человека по фото, нам нужно просто пробежаться по всем фото из коллекции, считая евклидово расстояние между векторами-хэшами из запроса и набора – подобный пример, реализованный на Питоне, доступен на сайте упомянутой библиотеки. Да, такая операция поиска тоже не дешёвая, но об этом позже.

В ближайшие недели я стал прикидывать темпы роста и понимать, что надо масштабироваться. API Вк работает на токенах доступа, и каждый токен имеет ограничения по числу запросов на единицу времени. Чтобы увеличить их число, я создал несколько приложений Вк с формами получения токенов и попросил пару десятков друзей выполнить там простой клик, что в итоге дало мне сотню токенов, которые я бережно сложил в файлик.

Конечно, не только лимиты АПИ повышать надо, но и объёмы CPU. Изначально я развернул скрипт на маленьком VPS, который создавался для простого личного сайта. В подмогу ему, я взял ещё один VPS, в несколько раз мощнее. Потом я решил, что и этого мало, взял ещё и целый выделенный сервер, который сильнее моего собственного рабочего компьютера 😀 Не энтерпрайз-левел, но производительность стала меня устраивать, хотя расходы и выросли до 15 тысяч руб/месяц, что для меня тогда было весьма ощутимой тратой.

2.2. Подобие архитектуры и DevOps’а

Если у вас есть опыт в бэкэнд разработке, то сразу встаёт вопрос, как я заставил несколько серверов работать в тандеме, а не независимо, дублируя одну и ту же работу? На самом деле, решение классическое: один микросервис брал на себя роль ведущего, мастера, хранил состояние всей системы, и выдавал задания объёмом в тысячу профилей Вк воркерам, которые быстрее или медленнее их индексировали, а результаты, в том числе промежуточные, возвращали мастеру; если же мастер за определённый промежуток времени не получал ответа от воркера, он давал это задание другому, с учётом промежуточного прогресса.

Кстати, воркеры работали в несколько потоков. Да, Питон, благодаря Global Interpreter Lock, не умеет в полный параллелизм, но много времени уходило на выгрузку фоток, а IO-операции хорошо параллелятся. Вдобавок, это позволило легко назначить каждому потоку свой токен доступа и гибко настраивать загруженность каждой машины.

Для автоматизации настройки окружения, токенов и т.п были написаны скрипты на Питоне, которые подключались к целевой машине по SSH и ставили всё что нужно. Позже я узнал, что у меня костыльный велосипед, есть качественные решения, но всё равно было интересно посмотреть подноготные детали. Из прикольного, пришлось также разобраться, что есть разные ВМ и средства виртуализации, что некоторое ПО не работает в определённых конфигурациях, благодаря чему виртуалки на Xen и OpenVZ с казалось бы одинаковыми ресурсами могут отличаться в цене на 40%.

2.3. Поиск

Помимо ролей мастера и воркера, есть роль поискового микросервиса. Проиндексированные фото Вк и айдишники их профилей сохраняются в БД, точнее, MySQL v5.7 – и алгоритм поиска я переписал с Python на SQL, что позволило сильно ускорить вычисления и выйти на больший масштаб. Но с ростом данных этого всё равно было очень мало, я думал над оптимизациями, старался переиспользовать свой опыт big data аналитики с работы, экспериментировал с разными структурами запросов и генерацией SQL-запросов Питоном, это позволило ускорить вычисления в несколько раз, что мило, но всё равно мало.

Вообще, поиск можно было бы улучшать и дальше – возможно подобрав более эффективные коэффициенты в операции выше, или переделав этот хэш, ещё было бы круто добавить параллелизм, которого в MySQL из коробки нет, партицирование, шардирование, и искать многопоточно; для этого в планах был переезд на PostgreSQL.

2.4. Другие механики

Когда у меня накопился большой объём данных, и мой сервис научился находить некоторую долю людей по случайным фоткам за приемлемое время, я стал мечтать дальше и задумываться о развитии функционала.

Ускорять время поиска можно не только ускорением самого поискового алгоритма, но и снижением выборки, например, ища профили только среди участников каких-то групп Вк. Ясное дело, здесь встаёт вопрос ограничения размера этой выборки, т.к делать запрос с «ISIN (десятки тысяч айдишников)» такое себе, а вот на паре сотен и даже тысяч работает в разы быстрее, чем полный проход БД.

Помимо прочего, я немного помешан на математике, множествах графах, а соц.сети – это прекрасные данные и множеств, и графов! Я подумал, что можно двигаться в этом направлении, позволяя задавать сложные запросы с И-ИЛИ-деревьями. Притом, искать можно не только по фото, но и по ник-неймам или ссылкам на профили в других соц.сетях – к сожалению, поисковики интернета и Вк эту инфу не очень индексируют, и я попробовал делать это сам.

Если идти ещё дальше, то можно индексировать не только Вк, но и ВотсАп, Тг перебрав все русские номера, возможно частично FB, Twi, Ig. Но это уже совсем будущее, я решил двигаться в сторону скорейшей апробации и монетизации того, что есть уже.

3. Заключение

3.2. Happy ли end?

Перед разработкой ЛК, интеграции платежей и т.п декора, я решил больше разобраться в общественных настроениях, т.к некоторые мои знакомые выражали сомнения, что им было быы приятно пользоваться, а ещё серьёзнее – быть доступными в таком сервисе. Помимо этого, примерно тогда же Вк ввёл закрытые профили, чтобы переживающее о своей безопасности люди могли спокойно скрываться, и анализируя статистику своих воркеров я видел, что число таких профилей всё растёт.

Я написал в тех поддержку Вк (тогда они ещё отвечали, ахах), аккуратно представился студентом, что хочу проводить социологические исследования сканируя большие объёмы данных Вк, в т.ч фото, ФИО и описание. Что на самом деле было правдой, с учётом моего интереса к аналитике и психологии. Они ответили, что ради статистики и небольших выборок в целом не против, но точно против какой-либо идентификации. А ещё «порадовали» тем, что будут и палки в колёса АПИ вставлять таким сервисам, и участвовать в разработке/внедрению законов, регулирующих эту деятельность. А недавно, уже в наше время, вышел законопроект, запрещающий автоматизированную обработку данных с сайтов, что по сути полностью блокирует подобные сервисы с парсингом.

В связи с этим, я принял решение о закрытии проекта, хоть это и было печально: в феврале 2019 у меня уже было проиндексировано 25% всего Вк в гигабайтах БД, притом не за бесплатно. Но у меня уже тогда был опыт различных проектов, поэтому я не жил розовыми мечтами об успешном успехе, а старался извлечь другую пользу и просто фан (:

Кстати, только в процессе написания этой статьи я понял, что принявшись за эту работу, я совсем забыл про исходный мотив, про того человека с какого-то сайта и свой вопрос к нему xD

Спустя какое-то время после завершения описанной истории, я решил опубликовать исходники, но т.к там в истории коммитов засветились токены, то перезалил в новый репозиторий. Однако код действительно такой, что мне самому туда страшно заглядывать, тогда я мало что понимал в организации проекта, не слышал про Ansible, Docker.

3.2. Польза

Здесь, как и в других своих пет-проектах и стартапах, я набрался много опыта:

• Разобрался с многопоточностью в Питоне.
• Покопался в специфических вопросах оптимизации MySQL запросов.
• Научился строить организацию приложений, файлов и комментов на будущее, чтобы оно не превращалось в спагетти.
• Освоил работу из кода с SSH для настройки окружения, а в будущем понял, насколько чудесен Ansible, который это сильно упрощает.
• Разработал микросервисную архитектуру из клея и палок, что затем позволило легко понять концепции Kubernetes.

И всё это мне очень пригодилось в последующих работах и проектах.

3.3. Мораль

Выводы каждый сделает свои, но главное – не бойтесь пробовать, учиться и искать себя! Надеюсь, вам было интересно.

Источник: habr.com