Инструменты

[WATCHER]

Venator 5.0 2к+ строк

Многофункциональный OSINT-браузер Venator 5.0, созданный на базе Librewolf. Браузер, ориентирован на использование в СНГ, что выгодно отличает его от таких аналогов, как Oryon, CSI и других. Интерфейс браузера включает в себя дополнительные панели для быстрого перехода к поисковым системам, а также к специализированным OSINT-ресурсам, разбитым по темам исследований.

https://disk.yandex.ru/d/yZ9smKUMiykziA

https://drive.google.com/file/d/1-cl8tn-i2MJ2fvi-nMclh5hFtdFRz9St/view?usp=share_link

https://nnmclub.to/forum/viewtopic.php?t=1720623

[WATCHER]

https://osintframework.com/

OSINT Framework

Примечания
OSINT Framework сосредоточен на сборе информации из бесплатных инструментов или ресурсов. Намерение состоит в том, чтобы помочь людям найти бесплатные ресурсы OSINT. Некоторые из включенных сайтов могут потребовать регистрации или предложить больше данных для $$$, но Вы сможете получить как минимум часть доступной информации без затрат.

Первоначально я создал эту структуру с точки зрения информационной безопасности. С тех пор ответ от других областей и дисциплин был невероятным. Я хотел бы иметь возможность включить любые другие ресурсы OSINT, особенно из областей за пределами Infosec...

Смотреть проект на GitHub: https://github.com/lockfale/osint-framework

[WATCHER]

Не удается получить доступ к сайту
Превышено время ожидания ответа от сайта
ERR_CONNECTION_TIMED_OUT

https://webhamster.ru/mytetrashare/index/mtb0/1705912840ptzochzjmi

Способ обхода западной цензуры
на примере использования протокола VLESS XTLS Reality
для доступа к сайтам, которые блокируют доступ из Российской Федерации

На текущий момент vless-xtls-reality не может быть обнаружен с помощью DPI (deep packet inspection — прослушивание трафика) даже в Китае. Но есть иные способы помешать ему. Поэтому смотрим следующий список:

Что не стоит делать ни в коем случае:

Не компрометировать VPS протоколами, которые могут быть детектированы (не ставить туда WireGuard, OpenVPN, Shadowsocks...).

Не ходить в рунет через VPS, вместо этого посещать рунет напрямую, мимо прокси (легко настроить). В крайнем случае, пускать российский трафик по цепочке Я->VPS->Warp->Рунет (это тоже легко настроить). Дело в том, что если трафик пересекает границу РФ дважды в условную секунду (сначала туда, потом сразу обратно), то цензор может заподозрить прокси и заблокировать его. В Китае так делают.

Не раздавать доступ к прокси большому количеству людей. 5-10 близких максимум. В Китае вычисляют аномальный трафик к серверу от большого числа юзеров и блокируют сервер - на случай неожиданной блокировки VPS-сервера по IP есть «План Б»: проксирование трафика через CDN (Content Delivery Network). CDN созданы для балансировки трафика крупных сайтов, состоят из сотен IP-адресов, поэтому шанс их блокировки минимальный. Я использую одну из самых крупных CDN в мире — CloudFlare с бесплатным тарифом. Именно к CloudFlare Вы привяжете купленный домен, чтобы пускать трафик через него. (Проксирование через CDN чуть медленнее прямого коннекта к серверу.)

CloudFlare Warp

Warp - это сеть публичных прокси от той же корпорации CloudFlare, доступ туда происходит по VPN-протоколу WireGuard. Из РФ к Warp-у, конечно же не подключишься, но из зарубежного VPS - запросто.

В этой схеме Warp исполняет две функции:

Дополнительный инструмент для обхода западной цензуры (если некоторые западные сайты не приветствуют запросы с вашего VPS - Вы сможете зайти на них через Warp)

Доп. защита от блокировок: проксирование запросов от VPS в Рунет, чтобы не компрометировать VPS в глазах РКН. Это на случай, если Вы не настроили клиентское приложение для прямого доступа в ru-ресурсам. Конечно, не все ru-сайты готовы обслуживать запросы из-за границы, но большинство ru-сайтов откроется.

Независимость от корпораций

Если CloudFlare вдруг исчезнет, вся схема продолжит работать напрямую, при этом останется возможность подключиться к любой другой CDN (их десятки), а вместо Warp использовать любой другой зарубежный прокси. Но пока всё работает - можно использовать CloudFlare.


Инструкция (1/6) - настройка VPS

Как только Вы приобрели VPS-сервер с уже установленной туда чистой Debian 12 — как правило в течении нескольких минут провайдер выдаст Вам доступ к серверу. Чаще всего приходит e-mail, иногда данные можно найти в панели.

Шаг 1: Подключитесь к серверу по SSH:

Наберите ssh root@111.111.111.111 в консоли (IP поменяйте на свой).
Пароль можно вставить из буфера с помощью ПКМ, он не отображается для безопасности. Иногда пароль вставляется корректно только при включённой английской раскладке клавиатуры.
Либо используйте веб-интерфейс "VNC" в панели VPS
Либо используйте какое-либо SSH-приложение

Шаг 2: Обновите систему на сервере apt update && apt full-upgrade -y (займёт несколько минут)

Шаг 3: Перезагрузитесь reboot и через минуту подключитесь по ssh заново.

Шаг 4: Установите необходимые пакеты:

apt install docker.io docker-compose git curl bash openssl nano -y

Шаг 5: Установите панель 3X-UI версии v2.0.2:

git clone https://github.com/MHSanaei/3x-ui.git

cd 3x-ui

nano docker-compose.yml

 # откроется текстовой редактор.

 # в 6 строке замените "latest" на "v2.0.2"

 # было:  image: ghcr.io/mhsanaei/3x-ui:latest

 # стало: image: ghcr.io/mhsanaei/3x-ui:v2.0.2

 # чтобы сохранится, нажмите: CTRL+X, Y, ENTER

docker-compose up -d

UPD 18.01: Автор панели уже выпустил новую версию, но там поменялся интерфейс и логика работы с WARP, я же создавал инструкцию и делал скриншоты именно с версии v2.0.2, она стабильная и самодостаточная. Если Вы ставите прокси первый раз и хотите следовать инструкции - устанавливайте именно эту версию.

Шаг 6: Установите Warp: первой командой - удалите (если он был установлен хостером), второй - установите его в режиме совместимости с 3x-ui

warp u

bash <(curl -sSL https://raw.githubusercontent.com/hamid-gh98/x-ui-scripts/main/install_warp_proxy.sh)

Во время установки скрипт спросит у Вас цифру, нужно ответить 40000

Шаг 7: Сгенерируйте самоподписанный TLS-сертификат и скопируйте его в панель 3X-UI

openssl req -x509 -newkey rsa:4096 -nodes -sha256 -keyout private.key -out public.key -days 3650 -subj "/CN=APP"

docker cp private.key 3x-ui:private.key

docker cp public.key 3x-ui:public.key

На этом настройка сервера завершена.


Инструкция (2/6) - первичная настройка панели 3X-UI

Шаг 1: Откройте браузер и зайдите по адресу вида http://111.111.111.111:2053/ Обратите внимание на http (не https) в начале адреса (но это только на старте, далее будет https). IP, конечно, нужно поменять на свой.

Шаг 2: Поменяйте язык на английский, тёмную тему, логин: admin, пароль: admin, и войти (кнопка Login).

Шаг 3: В разделе "Panel Settings" заполните 4 поля:

- Panel Port (любое случайное число от 1000 до 65535, кроме 40000 - оно уже занято варпом, в инструкции я буду использовать 54321 - но Вы придумайте своё). Далее везде вместо порта 54321 вставляйте своё число.

- Panel Certificate Public Key Path : /public.key

- Panel Certificate Private Key Path : /private.key

- Panel URL Root Path: секретная строка для доступа к панели, которая начинается и заканчивается "/". Я использую /mysecreturl/, но Вы придумайте свою. Далее везде вместо строки /mysecreturl/ используйте свою.

Наконец, сохранитесь (кнопка Save вверху страницы) и обязательно перезагрузите панель (кнопка Restart Panel, Sure).

Браузер выдаст ошибку.

Поменяйте в адресной строке порт 2053 на 54321, обновите страницу.

Браузер выдаст вторую ошибку «Подключение не защищено» (это потому что мы используем самоподписанный сертификат, но это временно).

Нажмите на Дополнительно>Перейти на сайт, и Вы опять окажетесь в панели.

Шаг 4: В разделе Panel Settings - Security Settings укажите старые (admin/admin) и придумайте новые логин и пароль, жмите Confirm.

Шаг 5: Войдите в панель ещё раз с новым логином и паролем.

Теперь панель будет всегда доступна по HTTPS адресу вида: https://111.111.111.111:54321/mysecreturl/ (где IP, Порт и Путь будут Вашими собственными).

Сохраните где-нибудь URL доступа к панели, логин и пароль.


Инструкция (3/6) - настройка Xray

Xray - прокси-сервер, которым управляет панель 3X-UI. Именно Xray поддерживает протокол VLESS с маскировкой.

Шаг 1: В панели перейдите в раздел "Xray Settings" и включите две опции:

- IPv4 Configs -> Use IPv4 for Google

- WARP Configs -> Route OpenAI (ChatGPT) througw WARP.

Затем в верху страницы сохранитесь (Save Settings) и перезагрузитесь (Restart Xray)

Шаг 2: Пустите весь российский трафик на сервере через WARP.

Для этого перейдите в раздел "Xray Settings"->"Routing Rules", найдите строку где написано "geosite:openai" и отредактируйте её, чтобы получилось: geosite:category-gov-ru,regexp:.*\.ru$,geosite:openai

Наконец, добавьте новое правило через кнопку Add Rule (IP: geoip:ru, Outbound tag: WARP) как на скриншоте.

Опять сохранитесь вверху страницы (Save Settings), затем перезагрузитесь (Restart Xray)

Шаг 3: Найдите сайт-донор для маскировки.

Уже на 4-м шаге панель предложит Вам маскироваться под сайт yahoo.com. В принципе он подходит. Но если у Вас сервер в Европе — это даст задержки при открытии новых сайтов, поскольку сервера yahoo находятся в Америке.

Оптимальным будет найти сайт в подсети хостера, но может случиться так, что в подсети сайта не обнаружится.

Поэтому есть более простой вариант: найти небольшой сайт из той же страны, где Вы арендовали VPS, затем зайти на сервер по SSH и с сервера попинговать его. Если время отклика будет минимальное (например, 15мс) — он подходит.

Я арендовал сервер в Нидерландах, поэтому выбрал голландский новостной сайт nltimes.nl - попинговал его с VPS-сервера: вижу время отклика 6мс, он подходит

Шаг 4: Настройте VLESS

В разделе Inbound - Add inbound надо заполнить указанные на скриншоте поля.

Самое важное:

- Remark и Email - любые строки (не обязательно адрес эл.почты), ни на что не влияют.

- Listening IP - укажите Ваш IP

- Port - _строго_ 443, чтобы маскироваться под обычный https-сайт.

- Только после выбора Security: Reality появится возможность выбора Flow: xtls-rprx-vision

- uTLS - именно Chrome, чтобы маскироваться под самый популярный браузер

- Dest, Server Names - указать сайт-донор

- Кнопка Get new cert генерирует ключи.

- Кнопка Create завершает создание.

Шаг 5: Получите ключ VLESS

Осталось в разделе Inbounds нажать на три точки -> Export Links и система даст скопировать строку-ключ вида:

vless://e034d537-b028-41f0-9e53-5f0838ea8b3b@111.111.111.111:443?type=tcp&security=reality&pbk=D0Bfsax3Ble2KiqDrOu3_qMJw7qVKyrnWgpvDTVkb3M&fp=chrome&sni=nltimes.nl&sid=64edf3b5&spx=%2F&flow=xtls-rprx-vision#My%20VLESS-Reality

Сохраните строку-ключ в нескольких удобных местах.


Инструкция (4/6) - настройка клиента (на компьютерах и телефонах)
Здесь всего три шага:

Установить приложение
Вставить туда строку-ключ с сервера
Настроить прямое соединение с Рунетом


Приложений много, они есть практически под все платформы, и они проверены временем.

Windows:
Hiddify-Next (Проверенная версия 0.11.1)
Nekoray
V2rayN

Android:
Hiddify-Next
V2rayNG
Nekobox

Настройка Hiddify-Next
Лидером среди приложений является Hiddify-Next от наших иранских коллег.
Основные его плюсы:
Крайне простой и понятный интерфейс «одна кнопка», минимум настроек.
Русский язык

После установки приложения надо сделать всего две вещи:
В настройках установить Регион: RU
Скопировать в буфер и вставить в приложение строку-ключ vless через кнопку (+)

Всё! Можно нажимать на огромную круглую кнопку — и прокси заработает!


Особенности Hiddify-Next на Windows:

Приложение может работать в двух режимах:

Системный прокси (по умолчанию)
TUN-режим

Большинство приложений (в том числе браузеры) понимает первый режим. Но не все. Если какое-то приложение на Windows не видит Ваш прокси — переключитесь в TUN-режим (в настройках Hiddify-Next). Чтобы TUN-режим заработал, Hiddify-Next необходимо запустить в «режиме администратора» (программа сама Вам об этом скажет).


Особенности Hiddify-Next на Android:

На андроиде есть супер-удобная опция «Раздельное проксирование» (в настройках Hiddify-Next). На iOS такого нет.

Раздельное проксирование позволяет выбрать, какие приложения будут использовать прокси. Например, я могу выбрать опцию «Проксировать только выбранные приложения» и поставить галочки на: «Нельзяграм, Канву и Хром». После включения прокси, только эти три приложения будут использовать прокси, а остальные (банковские приложения, яндекс-карты и все остальные) продолжат соединяться со своими серверами напрямую.

Если настроить раздельное проксирование для выбранных приложений — прокси на телефоне можно держать включённым постоянно.


Инструкция (5/6) - проверка прокси

Если Вы всё сделали по инструкции — у Вас на устройствах уже должен быть работающий прокси. Но выполняет ли он свою функцию? Не обманул ли продавец VPS? Сейчас проверим.

Убедитесь, что прокси включён.
В браузере зайдите на https://ipinfo.io/ Вы видите IP вашего VPS? Значит прокси работает и Вы всё настроили верно.

Откройте браузер и зайдите на https://rutracker.org Открывает? Значит блокировка отключена.

Откройте браузер в режиме инкогнито и зайдите на https://maps.google.com Вы видите карту той страны где покупали VPS? Вероятно ip «чистый».

Ещё раз посмотрите на https://ipinfo.io/ Справа в разделе country Вы видите ту страну в которой находится VPS? Значит ip «чистый».

Зайдите на https://canva.com Вы видите нормальный сайт и Вас не посылают за то что Вы из РФ? Значит западную цензуру обошли.

Зайдите на https://google.com Нет ошибки 403 и поиск доступен? Значит гугл не забанил ранее Ваш IP.


Если что-то пошло не так:

п2 и п3: скорее всего где-то ошиблись в выполнении инструкции, перепроверьте.

п4,5,6 — вероятно хостер предоставил Вам «грязный» IP, который числится в базах как российский. Есть шанс, что в течение двух недель базы обновятся... либо не обновятся.
Имеет смысл написать в техподдержку хостеру, описать ситуацию и попросить поменять IP. Большинство идут на сотрудничество.
п7 — просите хостера поменять IP.


Запасной план:

Если какой-либо западный сайт не пускает Вас к себе через VPS, то в качестве костыля можно пустить трафик до этого сайта через WARP.

Для этого в панели 3x-ui->Xray Settings->Routing Rules нужно найти и отредактировать строку geosite:category-gov-ru,regexp:.*\.ru$,geosite:openai - дописать сайты через запятую, пример geosite:category-gov-ru,regexp:.*\.ru$,geosite:openai,intel.com,canva.com (обязательно сохраните изменения и перезагрузите Xray)

После этого западные сайты вместо IP вашего VPS будут видеть IP сети WARP, что почти наверняка позволит обойти их цензуру.


Да, покупка IP-адреса — это всегда лотерея и есть небольшой шанс проблем, но чаще всего всё работает с первого раза.


Инструкция (6/6) - настройка CDN CloudFlare
Переходим к последнему, самому интересному разделу.

Любое управление рисками сводится к трём шагам:

Определить риск (в данном случае, это риск, что цензура заблокирует Ваш сервер)
Минимизировать риск
Определить План Б на тот редкий случай, если риск всё-же реализуется.
Хотя я не верю, что - с принятой предосторожностью - сервер вообще может быть когда-либо заблокирован, но обычно реальность не интересуется нашими верованиями.


Проксирование через CDN - это и есть "План Б". Сейчас Вы настроите ещё одно, запасное соединение, которое будет работать, даже если Ваш VPS станет недоступен изнутри РФ.

Шаг 1: Выберите продавца доменного имени и убедитесь что доменное имя свободно, но НЕ ПОКУПАЙТЕ его пока. CloudFlare работает только с доменными именами второго уровня (есть исключения, но они нам не помогут). Доменное имя второго уровня — это имя с одной точкой, вроде mypersonalsite.com или myhabraproxy.ru.

Для этой инструкции я выбрал доменное имя habraproxy.store у продавца Dreamhost. Прямо сейчас dreamhost бесплатно раздаёт доменные имена .store на 1 год — но эта халява только для клиентов, которые в прошлом что-то уже покупали.

Итак, продавец выбран, доменное имя выбрано но не куплено, идём дальше.

Шаг 2: Зарегистрируйтесь на CloudFlare.com  (Sign Up — Тариф Free — Add Website — e-mail+пароль). Сохраните пароль, подтвердите аккаунт по ссылке из письма.

Шаг 3: Зайдите в CloudFlare, в верхнем разделе "Websites" добавьте ещё не купленное доменное имя. Далее - Тариф Free - Continue... пока наконец Вы не попадёте на страницу "Change your nameservers" с двумя оранжевыми облаками.

Эти две строки нам понадобятся. Ваши строки могут отличаться от моих.

Шаг 4: Теперь смело покупайте Ваше доменное имя, а во время покупки укажите, что будете использовать name-сервера свои, а не те что предлагает продавец. Впишите эти две строки и завершите покупку.

Итак, Вы купили домен и указали нужные неймсервера. Активация свежекупленного домена займёт несколько минут, самое время донастроить CloudFlare.

Шаг 6: В разделе DNS создайте A-запись для Вашего домена и IP Вашего сервера.

Шаг 7: В разделе Network включите "gRPC"

Шаг 8: В разделе Rules->Origin Rules создайте два правила:

(1) Все запросы на сервер направляйте на порт 54321 (укажите порт, на котором работает Ваша панель 3xui)

(2) Все запросы по секретному адресу /my-gRPC-3049382 (придумайте что-то своё) направляйте на порт 2053

Последовательность этих двух правил важна.

Шаг 9: Вернитесь на Overview, и если под оранжевыми облаками найдёте кнопку "Check nameservers now" - нажмите её, чтобы поторопить систему.

(если прошло много времени и там нет ни облаков, ни кнопки - вообще отлично, переходите к следующему шагу)

Шаг 9.2: Создайте второе VLESS-подключение для CDN.

Вернитесь в панель 3X-UI. Inbound -Add Inbound

Самое важное:

- Порт - тот же, что и во "втором правиле". 2053 или любой другой на Ваш выбор (но смысла менять его на другой не вижу).

- Transmission - gRPC, именно такой тип соединения безлимитен на CloudFlare.

- Service name - секретная строка из "второго правила" my-gRPC-3049382, но строго без "/" в начале.

- uTLS - именно Chrome, чтобы маскироваться под самый популярный браузер

- ALPN сделайте пустым.

- Кнопка Get Сert from Panel вписывает ключи.

- Allow Insecure - включайте на время тестирования, когда начнёте пользоваться CDN - можно будет выключить.

Наконец, проверяйте что получилось.

Экспортируйте строку-ключ этого нового соединения и скопируйте её в приложение - прокси должен работать. (пока это не CDN, Вы лишь подключились к своему VPS через порт 2053 по протоколу VLESS-gRPC, но скоро вместо Вас это будет делать CloudFlare)

Шаг 10: Финальная настройка CloudFlare.

Обновите раздел Overview.

CloudFlare должен Вас обрадовать сообщением: "Great news! Cludflare is now protecting your site"

Если этого сообщения нет, а вместо него - страница, на которой остались два оранжевых облака - значит одно из двух:

Нужно ещё немного подождать
Вы что-то сделали не так.

Если всё так, тогда в разделе SSL/TLS включите режим Full

Теперь Вы точно завершили настройку CloudFlare.


Шаг 11: Проверка.

Откройте браузер и перейдите по адресу https://habraproxy.store/mysecreturl/ (меняйте имя сайта на своё, и адрес страницы на свой - тот что установили для панели 3x-ui).

Откроется панель 3x-ui. Теперь управлять панелью Вы будете с этого адреса!

Сохраните этот адрес где-нибудь.


Шаг 12: Ещё одна проверка.

Откройте браузер по адресу https://habraproxy.store и убедитесь, что там пустая страница 404.

Это значит любой цензор, зайдя на Ваш сайт, убедится: там есть настоящий веб-сервер. В качестве веб-сервера выступает сама панель 3x-ui, которая отдаёт 404 ошибку на любой неизвестный ей адрес. Никакой внешний наблюдатель не узнает адрес панели (/secreturl/). А если цензор послушает трафик, то увидит зашифрованный поток gRPC, который используется для обслуживания веб-приложений по всему интернету.

Шаг 13: Настало время МАГИИ:

Отредактируйте строку-ключ второго подключения:

Замените IP на доменное имя,
Замените порт на :443,
Удалите allowInsecure=1
Отредактируйте имя (после #) по своему желанию

Было: vless://03684ba0-1994-4106-86da-e91fdd9007e0@111.111.111.111:2053?type=grpc&serviceName=my-gRPC-3049382&security=tls&fp=chrome&alpn=&allowInsecure=1#My%20CDN-tjo1gifl

Стало: vless://03684ba0-1994-4106-86da-e91fdd9007e0@habraproxy.store:443?type=grpc&serviceName=my-gRPC-3049382&security=tls&fp=chrome&alpn=&#My%20CDN


Наконец, копируйте эту строку в приложение, проверяйте работоспособность и наслаждайтесь запасным каналом для своего прокси.

Самое время процитировать @MiraclePtr:

Fair use

Понятное дело, что то, что CDN разрешают на своих бесплатных тарифах проксировать Websockets и gRPC — это такой жест доброй воли от них. Давайте не наглеть и использовать эти возможности только в совсем безвыходных случаях, которые, надеюсь, всё-таки не наступят.

Недостатки этого решения
«Сложность» настройки:
Безусловно, купить VPN за 100 рублей в месяц намного проще, чем впервые в жизни настроить «вот это всё». Я не строю иллюзий, что «все домохозяйки в стране сделают прокси частью своего хозяйства». Это решение — для небольшого числа людей, которые очень ценят свободу информации, очень ценят надёжность и готовы инвестировать своё внимание во всякое «технарское колдунство».

Периодическая недоступность VPS:
Uptime бюджетного VPS — примерно 99.9% (бывает и выше, и ниже). Это значит, что примерно 42 минуты в месяц VPS может быть недоступен (иногда эти минуты растягиваются до часов и даже дней). То есть Вы гарантированно однажды встретитесь с ситуацией, когда VPS временно не отвечает ни по IP, ни через CDN. Причин множество, я встречался как минимум с этими тремя: факап хостера, DDOS-атака на хостера, проблемы в дата-центре где физически находится VPS (на которые сам хостер повлиять не может).

Я решаю этот вопрос просто — у меня два сервера от разных хостеров в разных странах (основной и запасной), этого хватает.

Другое решение — на случай форс-мажора иметь под рукой запасную строку-ключ (shadowsocks, vless, trojan) от какого-нибудь бесплатного сервиса, благо в телеграмме их полно. Конечно, передавать свой трафик через бесплатный сервис — это стрёмно, но если VPS недоступен, а доступ нужен срочно, то временное использование бесплатного сервиса может оказаться приемлемым, решайте сами.

Доверие китайским программистам:
Хотя и сервер, и клиенты — это opensource приложения (основанные на Xray  и SingBox), они не проходили независимый аудит, и теоретически там могут быть ошибки, а разработчики — тоже теоретически — могут добавить зловредный код в новые версии (впрочем, такое можно сказать про любое opensource-решение, но это не мешает существованию опенсорса в мире). Один из вариантов управления этим риском — использовать проверенные версии клиентских и серверных приложений.

Отсутствие XTLS в CDN-проксировании:
Да, это решение использует XTLS только для соединения с сервером напрямую, и простой TLS для проксирования через CDN.

Не анонимность:
Да, использование прокси заметно повышает уровень анонимности в интернете, но ни один прокси не гарантирует абсолютной анонимности.

Это решение заточено не для анонимности, а для свободного доступа к информации. Пожалуйста, не путайте доступ к информации и анонимность, это очень разные задачи.

Источник: https://webhamster.ru/mytetrashare/index/mtb0/1705912840ptzochzjmi

VPN сервисы для Chrome, позволяющие получить доступ к ChatGPT в 2024 году
https://webhamster.ru/mytetrashare/index/mtb0/1720781760so4vo7zbwx

DotVPN - это не просто обычное VPN-расширение для Chrome. Это мощный онлайн-инструмент, который гарантирует Вашу кибербезопасность и позволяет Вам свободно посещать сайты по всему миру. С DotVPN Вы достигнете онлайн-анонимности, легко обойдете гео-ограничения и получите стабильное интернет-соединение.

DotVPN предоставляет непревзойденную свободу в использовании контента вне зависимости от Вашего географического местоположения.

You've watched 1 hour Free witch DotVPN
Чтобы получить ещё бесплатный доступ, надо нажать на зеленую кнопку Get More Free Hours. Появится окно с обратным отсчетом, обычно на 1 минуту. После этого появится кнопка Connect Now для получения бесплатного соединения, и дальше работа с этим VPN происходит как обычно.

Внимание! К 2024 году появилось много русскоязычных сайтов, которые блокируют доступ с внешних сетей. Поэтому не стоит удивляться, если через VPN не открываются привычные местные сайты. В этом случае VPN надо отключить.

[WATCHER]

https://telegra.ph/FAQ-pro-osint-dlya-novichkov-06-07

FAQ про osint для новичков

с чего начать?
можно ли зарабатывать с помощью osint?
какие навыки нужны для работы с osint?
насколько osint законен?
чем отличается пробив от osint?
нужно ли соблюдать анонимность и приватность?
в каких сферах используется osint?

С чего начать?
Стоит начать с изучения сайта https://gitbook.osint-mindset.com/index Там много советов по тому, как начать путь в этой сфере, про бытовой osint, про инструменты, множество хороших рекомендаций, множество телеграм каналов отличных специалистов.

Можно ли зарабатывать с помощью osint?
Конечно. Можно помогать в журналистских расследованиях, можно работать в информационно-аналитических центрах, в детективных агентствах и т.д. Нижней и верхней планки нет - можно работать за еду, а можно открыть своё агентство по проверке контрагентов и аналитике рынка и зарабатывать миллионы

Какие навыки нужны для работы с osint?
Особенность человеческого восприятия - субъективность. При работе с открытыми данными важно как можно больше дистанцироваться от собственного мнения и предпочтений и работать с фактами, мнениями, гипотезами, уметь анализировать и верифицировать данные, желательно иметь широкую эрудицию, чтобы находить невидимые взаимосвязи и находить все новые вектора исследования данных. Аналитика и верификация данных - это очень непростое дело и этому тоже нужно учиться. Забивая на них, вы рискуете предоставлять заказчикам недостоверную информацию, которая принесет убытки или другие негативные последствия. Также важно уметь в программирование (питона достаточно) для работы с большими объемами данных, в софтскиллы (часто полезно узнавать другую точку зрения, которую вы могли не учесть). Важна также дисциплина и последовательность. Если Вы исследуете что-то в хаотичном порядке и без алгоритма, то увеличивается вероятность упустить очень важные детали, в которых кроется суть.

Насколько osint законен?
Работа по открытым данным однозначно является законной, однако в этой сфере очень много серых зон.

Чем отличается пробив от osint?
Пробив - это пренебрежительное название для тех, кто в своем инструментарии использует только боты типа глаза бога, не используя аналитику, верификацию, сторонние инструменты для более глубокого и качественного поиска.
Osint включает в себя огромное количество методов и инструментов и всегда очень тесно идёт с аналитикой.

Нужно ли соблюдать анонимность и приватность?
Базовую цифровую гигиену никто не отменял, однако, важно понимать целесообразность. Если Вы занимаетесь мирными вещами (разведка при пентесте, рекламная аналитика и анализ рынка и тд), то Вам нет смысла иметь три телефона, постоянно менять симки, аккаунты и т.д. Если же Вы занимаетесь политическими\журналистскими исследованиями\расследованиями, какими-нибудь провокационными темами и событиями, работаете личным осинтером у олигарха, то Вам, скорее всего, стоит хорошо позаботиться о собственной анонимности, потому что вероятность иметь недоброжелателей увеличивается.
Важно помнить две основные вещи: модель собственной безопасности будет строиться очень индивидуально и зависеть от целесообразности, полностью подчищать данные о себе не всегда хорошая затея, гораздо важнее подменять эти данные на фейковые и не подозрительные.

В каких сферах используется osint?
Так как osint - это множество методик работы с открытыми данными, прикладное применение этих навыков огромное.
Стоит начать с простого: навыки работы с открытой информацией понадобятся Вам даже в быту, например, чтобы проверить: вызываете ли Вы реального сантехника или это мошенник? стоит ли доверять этому продавцу с авито? и так далее.
С открытыми данными работают журналисты, разные специалисты по информационной безопасности (например, пентестеры при исследовании таргета), аналитики (информационно-аналитические центры, рекламные аналитики и тд), учёные гуманитарных сфер (социологи, например), специалисты по Threat Intelligence, специалисты в службах безопасности и так далее, список можно продолжать сколько угодно...

[WATCHER]

https://t.me/maspartners/552

...нашел инструмент под названием Tallow [https://reqrypt.org/tallow.html]... защищает соединения, работает с портами и не дает вам влететь. Так что рекомендую.

Всем безопасности!

[WATCHER]

https://t.me/maspartners/535

Лично я очень люблю и уважаю BlackBird (https://www.getblackbird.net/). Эта прекрасная программка позволяет буквально несколькими кликами (ну или командами, ибо она консольная) выключить всё то, что Вы знали сами о телеметрии и о чём даже не догадываются поверхностные гайды по анонимности...

[Тень]

OSINT: Подборка полезных инструментов и ресурсов

https://t.me/s/Social_engineering/1838

https://t.me/s/Social_engineering/2548

https://t.me/s/Social_engineering/3202


Временная почта. Подборка сервисов

- http://xkx.me
- https://erine.email
- https://maildrop.cc
- https://mailsac.com
- https://getnada.com
- http://mailcatch.com
- https://smailpro.com
- https://yopmail.com/en
- https://one-off.email/ru
- https://www.moakt.com
- https://www.33mail.com
- http://www.yopmail.com
- https://www.emaildrop.io
- https://www.fakemail.net
- https://www.mohmal.com
- https://10minutemail.com
- https://www.tempinbox.xyz
- https://temporarymail.com
- https://www.mailinator.com
- http://www.yopmail.com/en
- https://www.dispostable.com
- https://www.emailondeck.com
- https://www.crazymailing.com/ru
- https://www.trash-mail.com/inbox

[Тень]

https://rosental-book.ru/

Электронная версия книги Дитмара Эльяшевича Розенталя "Справочник по правописанию и стилистике", изданной ИК "Комплект" в 1997 году. Для некоммерческого использования.

[WATCHER]

https://tass.ru/obschestvo/18815893

Анонимные виртуальные номера: как они работают? И почему считаются угрозой?

https://tass.ru/ekonomika/18780951

Кабмин признал анонимные виртуальные номера угрозой

МОСКВА, 19 сентября. /ТАСС/. Правительство РФ признало использование виртуальных мобильных номеров (DEF-номеров) угрозой безопасности в сфере связи и интернета, сервисы по их выдаче после 1 сентября 2024 года планируется блокировать.

Существует два основных типа номеров:

ABC — номера, привязанные к определенной географической зоне.
Например, 495 — телефонный код Москвы, а 812 — Санкт-Петербурга;

DEF — номера, привязанные не по географическому признаку, а к конкретному оператору связи.
Например, 905 нередко код "Билайна". И в свое время по коду телефонного номера можно было даже определить, услугами какого провайдера пользуется звонящий.
То есть DEF-номера — это как раз мобильные номера.

Виртуальный телефонный номер — это выделенный номер в облачной АТС, который подключается и работает на устройстве пользователя через интернет

При этом при поступлении звонка с виртуального номера внешне на смартфоне пользователь видит привычную комбинацию цифр.

Сервисы, предоставляющие услуги виртуальных номеров, могут обладать собственной инфраструктурой или берут её в аренду

Как правило, сервисы сдают в аренду не виртуальные номера, а, по сути, обычные. Они получают номера от операторов по договору как абоненты-юрлица и сдают их в очень краткосрочную аренду. Причём делают это без предоставления физических сим-карт — отсюда и пошло ошибочное мнение, что это некие виртуальные номера

Такая деятельность идёт вразрез с российским законодательством, которое обязывает предоставлять услуги связи только идентифицированным пользователям. При этом многие платформы вообще действуют вне российской юрисдикции, а также заключают договоры с иностранными операторами связи для предоставления не российских номеров, а зарубежных

Сейчас для регистрации в соцсетях или мессенджерах по российскому законодательству пользователь должен предоставить номер мобильного телефона, который при необходимости позволяет идентифицировать владельца.

Арендованный же виртуальный номер никак не привязан к конкретному человеку: сегодня им может воспользоваться один, а завтра — другой.

Если говорить о простых гражданах, то россияне арендуют виртуальные иностранные номера, чтобы воспользоваться зарубежными сервисами, где нельзя авторизоваться по российскому мобильному номеру. Например, многие инструкции, как подключиться к чату GPT, начинаются с совета арендовать иностранный мобильный номер.

[WATCHER]

https://ichip.ru/sovety/ekspluataciya/virtualnyj-nomer-telefona-chto-eto-i-kak-ego-poluchit-836182

Виртуальный номер телефона: что это, и как его получить

Виртуальные телефонные номера и раньше были удобным способом избавиться от спамеров, а в наше время они и вовсе стали практически незаменимы. По крайней мере, в том случае, если Вы хотите пользоваться иностранными сервисами, многие из которых требуют регистрации с помощью номера телефона не из России. Поэтому у многих пользователей возникает резонный вопрос — как сделать виртуальную сим карту.

К счастью, для этого существует огромное число сервисов, а сам процесс получения и использования виртуального номера максимально прост.

В обычных условиях для работы с виртуальным номером требуется интернет. Если же доступа к нему пока нет, Вы вполне можете настроить переадресацию с виртуального на реальный номер и принимать звонки как обычно. Многие же сервисы и вовсе используют для показа сообщений собственные сайты или передают их в мессенджер.

Самое приятное в виртуальном номере то, что его можно оформить и закрыть, не выходя из дома, воспользовавшись одним из многочисленных сервисов.


Если Вы задаётесь вопросом, как получить виртуальный номер бесплатно, Тинькофф Мобайл точно для Вас.

Для управления номером используется приложение Тинькофф Мобайл. На его главной странице Вы сможете сколько угодно раз включать и выключать виртуальный номер. При этом с его помощью можно совершать и принимать звонки, а также отправлять или получать сообщения. Есть возможность использовать его и для регистрации во всевозможных сервисах, включая мессенджеры или социальные сети.


Если же Вам требуется полноценная работа с виртуальным номером телефона, включая звонки и текстовое общение, для этого отлично подойдёт сервис облачной телефонии с ласкающим слух любого россиянина названием Zadarma.

Помимо проведения голосовых звонков, он позволяет вести статистику разговоров, их запись и предлагает функцию автоответчика.
В отличие от операторских сервисов, здесь на выбор пользователей предлагаются виртуальные номера в 100 странах мира, включая и номера, начинающиеся на 8800, а простая интеграция с крупнейшими CRM-системами и мессенджерами сильно облегчает работу с сервисом. И хотя сервис в основном рассчитан на корпоративное использование, с ним активно работают и простые пользователи.

[WATCHER]

Хостинги:
https://timeweb.com/ru/
https://aeza.net
https://greenhost.net
https://www.ionos.com
https://incognet.io

[Тень]

https://habr.com/ru/companies/postuf/articles/510766/

В сокращении

Google Dorking или используем Гугл на максимум

Google Dorks — техника, используемая СМИ, следственными органами, инженерами по безопасности и любыми пользователями для создания запросов в различных поисковых системах. Это метод, в котором обычные запросы на поиск веб-сайтов используются в полную меру для определения информации, выступающий как инструмент OSINT, является не уязвимостью Google и не устройством для взлома сайтов. Напротив, он выступает в роли обычного поискового процесса данных с расширенными возможностями.

Разбор операторов поиска

Dorking можно использовать в различных поисковых системах, не только в Google. В повседневном использовании поисковые системы, такие как Google, Bing, Yahoo и DuckDuckGo, принимают поисковый запрос или строку поисковых запросов и возвращают соответствующие результаты. Также эти же системы запрограммированы принимать более продвинутые и сложные операторы, которые значительно сужают эти условия поиска.

Оператор — это ключевое слово или фраза, несущее особое значение для поисковой системы.

Вот примеры часто используемых операторов: «inurl», «intext», «site», «feed», «language». За каждым оператором следует двоеточие, за которым следует соответствующий ключевая фраза или фразы.


Поиск точного совпадения. Заключите слово или фразу в кавычки, например "самое высокое здание".

Исключение результатов с определенными словами. Введите - (дефис) перед словом, которое нужно исключить. Пример: ягуар скорость -автомобиль.


Наиболее практичным и в то же время интересным сервисом Google, является возможность поиска удаленных или архивных страниц. Это можно сделать с помощью оператора «cache:». Оператор работает таким образом, что показывает сохраненную (удаленную) версию веб-страницы, хранящейся в кеше Google.


Информация о пользователях

Поиск информации о пользователях используется при помощи расширенных операторов, которые делают результаты поиска точными и подробными. Оператор «@» используется для поиска индексации пользователей в социальных сетях: Twitter, Facebook, Instagram.

inurl: twitter @minregion

Данный запрос в Twitter находит пользователя «minregion».

site: www.minregion.gov «@minregion»

Можно также использовать менее сложный метод и отправить запрос только по адресам электронной почты

filetype: xls + email

site:www.minregion.gov intext:e-mail

Показанный выше запрос, будет производить поиск по ключевому слову «email» на веб-странице Министерства

поиск индексированных телефонных номеров через «phonebook» Google ограничен только на территории США

phonebook:Arthur Mobile AL


Информация веб-ресурсов

Google имеет несколько полезных операторов, в частности «related:», который отображает список «похожих» веб-сайтов на нужный. Сходство основано на функциональных ссылках, а не на логических или содержательных связях.

related:minregion.gov

Этот оператор работает как кнопка "Похожие страницы" в расширенном поиске Google. Точно таким же образом работает запрос "info:", который отображает информацию на определенной веб-странице. Это конкретная информация веб-страницы, представленная в заголовке веб-сайта (), а именно в мета-тегах описания (<meta name = "Description").

info:minregion.gov


Другой запрос, «define:» весьма полезен в поиске при научной работе. Он позволяет получить определения слов из таких источников, как энциклопедий и онлайн-словарей.

define:territories

Универсальный оператор — тильда («~»), позволяет искать похожие слова или слова синонимы

~territories

Оператор «link:», модифицирующий запрос, ограничивает диапазон поиска ссылками, указанными для определенной страницы.

link:www.minregion.gov

Однако этот оператор не отображает все результаты и не расширяет критерии поиска.


Хештеги являются своего рода идентификационными номерами, позволяющие группировать информацию. В настоящее время они используются в Instagram, VK, Facebook, Tumblr и TikTok. Google позволяет выполнять поиск во многих социальных сетях одновременно или только в рекомендуемых. Пример типичного запроса к любой поисковой системе является:

#territories

Оператор «AROUND(n)» позволяет искать два слова, расположенные на расстоянии определенного количества слов, друг от друга.

minregion AROUND(4) territories


Поиск по типам файлов также чрезвычайно полезен, поскольку Google индексирует материалы в соответствии с их форматами, в котором они были записаны. Для этого используется оператор «filetype:». В настоящее время используется очень широкий диапазон поиска файлов. Среди всех доступных поисковых систем, Google предоставляет самый сложный набор операторов для поиска открытых исходных кодов.

filetype: xls + email

Потенциальным информационным ресурсом является каждый файл с любым расширением, к примеру: «.doc», «.pdf», «.ppt», «.odt», «.xls» или «.jpg».

Информация, неосознанно оставленная владельцами сайтов

Ресурсы, индексируемые Google, остаются публичными (например внутренние документы и материалы компании, оставшиеся на сервере), или они оставляются для удобства использования теми же людьми (например музыкальные файлы или файлы фильмов). Поиск такого контента может быть сделан при помощи Google через множество различных способов и самый простой из них, это просто угадать. Если например в определенном каталоге есть файлы 5.jpg, 8.jpg и 9.jpg, можно предугадать, что есть и файлы от 1 до 4, от 6 до 7 и даже более 9. Поэтому можно получить доступ к материалам, которые не должны были быть в публичном виде. Другой способ — поиск по определенным типам контента на веб-сайтах. Можно искать музыкальные файлы, фотографии, фильмы, электронные книги, аудиокниги.

В другом случае это могут быть файлы, которые пользователь оставил бессознательно в публичном доступе (например — музыка на FTP сервере для собственного использования). Такую информацию можно получить двумя способами: используя оператор «filetype:» или оператор «inurl:».

filetype:doc site:www.minregion.gov

site:www.minregion.gov filetype:pdf

site:www.minregion.gov inurl:doc

Также можно искать программные файлы, используя поисковый запрос и фильтруя искомый файл по его расширению

filetype:iso


Информация о структуре веб-страниц

Для того чтобы просмотреть структуру определённой веб-страницы и раскрыть всю её конструкцию, которая поможет в дальнейшем просмотреть структуру сервера и его уязвимостей, можно использовать оператор «site:».

site: www.minregion.gov minregion

Мы начинаем поиск слова «minregion» в домене «www.minregion.gov». Каждый сайт из этого домена (Google ищет как в тексте, в заголовках и в заголовке сайта) содержит данное слово. Таким образом, получая полную структуру всех сайтов этого конкретного домена. Как только структура каталогов станет доступной, более точный результат (хотя это не всегда может произойти) можно получить с помощью следующего запроса:

site:minregion.gov intitle:index.of «parent directory»

Он показывает наименее защищенные субдомены «minregion.gov», иногда с возможностью поиска по всему каталога, вместе с возможной загрузкой файлов. Поэтому, естественно, такой запрос не применим ко всем доменам, поскольку они могут быть защищены или работать под управлением какого-либо другого сервера.

site:gov inurl:robots.txt intext:Disallow: /web.config

Данный оператор позволяет получить доступ к параметрам конфигураций различных серверов. После проведения запроса, переходим в файл robots.txt, ищем путь к «web.config» и переход по заданному пути файла.

Чтобы получить имя сервера, его версию и другие параметры (например, порты), делается следующий запрос:

site:gosstandart.gov intitle:index.of server.at

Каждый сервер имеет какие-то свои уникальные фразы на заглавных страницах, например, Internet Information Service (IIS):

intitle:welcome.to intitle:internet IIS

Определение самого сервера и используемых в нём технологий зависит только от изобретательности задаваемого запроса. Можно, например, попытаться сделать это с помощью уточнения технической спецификации, руководства или так называемых страниц справок. Чтобы продемонстрировать данную возможность, можно воспользоваться следующим запросом:

site:gosstandart.gov inurl:manual apache directives modules (Apache)

Доступ может быть более расширенным, например, благодаря файлу с ошибками SQL:

«#mysql dump» filetype:SQL

Ошибки в базе данных SQL могут в частности, предоставить информацию о структуре и содержании баз данных. В свою очередь, вся веб-страница, её оригинал и (или) её обновленные версии могут быть доступны по следующему запросу:

site:gosstandart.gov inurl:backup

site:gosstandart.gov inurl:backup intitle:index.of inurl:admin

В настоящее время использование вышеупомянутых операторов довольно редко дает ожидаемые результаты, поскольку они могут быть заранее заблокированы осведомленными пользователями.

Также с помощью программы FOCA можно найти такой же контент, как и при поиске вышеупомянутых операторов. Для начала работы, программе нужно название доменного имени, после чего она проанализирует структуру всего домена и всех других поддоменов, подключенных к серверам конкретного учреждения. Такую информацию можно найти в диалоговом окне на вкладке «Сеть»

Таким образом, потенциальный злоумышленник может перехватить данные, оставленные веб-администраторами, внутренние документы и материалы компании, оставленные даже на скрытом сервере.

Если Вы захотите узнать ещё больше информации о всех возможных операторах индексирования Вы можете ознакомиться с целевой базой данных всех операторов Google Dorks вот здесь - https://www.exploit-db.com/google-hacking-database

В комбинации различной дополнительной информации и тех же самых команд, результаты поиска показывают более подробный взгляд на процесс получения информации.


Цены на жилье в Лондоне

Интересный пример касается информации о цене на жильё в Лондоне.

filetype:xls «house prices» and «London»


Альтернативные инструменты поиска индексаций

Существуют также и другие методы сбора информации при помощи Google Dorks. Все они являются альтернативой и выступают в качестве автоматизации поисковых процессов. Ниже предлагаем взглянуть на одни из самых популярных проектов, которыми не грех поделиться.


Google Hacking Online

Google Hacking Online — это онлайн интеграция поиска Google Dorking различных данных через веб страницу при помощи установленных операторов, с которыми Вы можете ознакомиться здесь - https://www.tutorialspoint.com/google_hacking_tests.htm

Инструмент представляет из себя обычное поле ввода для поиска желаемого IP адреса или URL ссылки на интересующий ресурс, вместе с предлагаемыми опциями поиска.

Всё работает на JS, который прописан в самом файле веб страницы. В начале берётся введённая информация пользователя, а именно наименование хоста или IP адрес веб страницы. И потом составляется запрос с операторами на введённую информацию. Ссылка на поиск определенного ресурса, открывается в новом всплывающем окне, с предоставленными результатами.


BinGoo

BinGoo — это универсальной инструмент, написанный на чистом bash. Он использует поисковые операторы Google и Bing для фильтрации большого количества ссылок на основе приведенных поисковых терминов. Можно выбрать поиск по одному оператору за раз или составить списки по одному оператору на строку и выполнить массовое сканирование. Как только заканчивается процесс с изначальным сбором информации или у Вас появятся ссылки, собранные другими способами, можно перейти к инструментам анализа, чтобы проверить общие признаки уязвимостей.

Результаты аккуратно отсортированы в соответствующих файлах на основе полученных результатов. Но и здесь анализ не останавливается, можно пойти ещё дальше и запустить их с помощью дополнительных функционалов SQL или LFI или можно использовать инструменты-оболочки SQLMAP и FIMAP, которые работают намного лучше, с точными результатами

Также включено несколько удобных функций, чтобы упростить жизнь, таких как «геодоркинг» на основе типа домена, кодов стран в домене и проверка общего хостинга, которая использует предварительно сконфигурированный поиск Bing и список дорков для поиска возможных уязвимостей на других сайтах. Также включен простой поиск страниц администраторов, работающий на основе предоставленного списка и кодов ответа сервера для подтверждения. В целом — это очень интересный и компактный пакет инструментов, осуществляющий основной сбор и анализ заданной информации. Ознакомиться с ним можно вот здесь - https://github.com/Hood3dRob1n/BinGoo


Pagodo

Цель инструмента Pagodo — это пассивное индексирование операторов Google Dorking для сбора потенциально уязвимых веб-страниц и приложений через Интернет.

Программа состоит из двух частей.

Первая — это ghdb_scraper.py, которая запрашивает и собирает операторы Google Dorks, а вторая — pagodo.py, использует операторы и информацию, собранную через ghdb_scraper.py и анализирует её через запросы Google.

Для начала файлу pagodo.py требуется список операторов Google Dorks. Подобный файл предоставляется либо в репозитории самого проекта или можно просто запросить всю базу данных через один GET-запрос, используя ghdb_scraper.py. А затем просто скопировать отдельные операторы dorks в текстовый файл или поместить в json, если требуются дополнительные контекстные данные.

Для того чтобы произвести данную операцию, нужно ввести следующую команду:

python3 ghdb_scraper.py -j -s

Теперь, когда есть файл со всеми нужными операторами, его можно перенаправить в pagodo.py с помощью опции «-g», для того чтобы начать сбор потенциально уязвимых и общедоступных приложений.

Файл pagodo.py использует библиотеку «google» для поиска таких сайтов с помощью подобных операторов:

intitle: «ListMail Login» admin -demo

site: example.com

К сожалению, процесс столь огромного количества запросов (а именно ~ 4600) через Google, просто не будет работать. Google сразу же определит Вас как бота и заблокирует IP адрес на определенный период.

Для того чтобы поисковые запросы выглядели более органичными, было добавлено несколько улучшений.

Для модуля Python «google» сделали специальные поправки, чтобы обеспечить рандомизацию агента пользователя через поисковые запросы Google. Эта функция доступна в версии модуля 1.9.3 и позволяет рандомизировать различные пользовательские агенты, используемые для каждого поискового запроса. Данная возможность позволяет эмулировать различные браузеры, используемые в большой корпоративной среде.

Второе усовершенствование фокусируется на рандомизации времени между поисковыми запросами.

Минимальная задержка указывается с помощью параметра «-e», а коэффициент джиттера используется для добавления времени к минимальному числу задержек. Создается список из 50 джиттеров и один из них случайным образом добавляется к минимальному времени задержки для каждого процесса поиска в Google.

self.jitter = numpy.random.uniform(low=self.delay, high=jitter * self.delay, size=(50,))

Далее в скрипте выбирается случайное время из массива джиттера и добавляется к задержке создания запросов:

pause_time = self.delay + random.choice (self.jitter)

Можно самостоятельно поэкспериментировать со значениями, но настройки по умолчанию работают и так успешно.

Обратите внимание, что процесс работы инструмента может занять несколько дней (в среднем 3; в зависимости от количества заданных операторов и интервала запроса), поэтому убедитесь, что у Вас есть на это время.

Чтобы запустить сам инструмент, достаточно следующей команды, где «example.com» это ссылка на интересуемый веб сайт, а «dorks.txt» это текстовый файл который создал ghdb_scraper.py:

python3 pagodo.py -d example.com -g dorks.txt -l 50 -s -e 35.0 -j 1.1

А сам инструмент вы можете пощупать и ознакомиться перейдя вот по этой ссылочке - https://github.com/opsdisk/pagodo


Методы защиты от Google Dorking

Основные рекомендации

Google Dorking, как и любой другой инструмент свободного доступа, имеет свои техники для защиты и предотвращения сбора конфиденциальной информации злоумышленниками. Последующие рекомендации пяти протоколов следует придерживаться администраторам любых веб платформ и серверов, чтобы избежать угроз от «Google Dorking»:

Систематическое обновление операционных систем, сервисов и приложений.

Внедрение и обслуживание анти-хакерских систем.

Осведомленность о Google роботах и различных процедурах поисковых систем, а также способы проверки таких процессов.

Удаление конфиденциального содержимого из общедоступных источников.

Разделение общедоступного контента, частного контента и блокировка доступа к контенту для пользователей общего доступа.


42 оператора расширенного поиска Google (полный список)
https://habr.com/ru/articles/437618/

[WATCHER]

https://hacker-basement.com/2024/07/30/dose-na-cheloveka-za-5minut/

Как собрать досье на человека за 5 минут

Первичная идентификация

При сборе информации о человеке из любых открытых источников, первая, и самая важная задача, которую нужно решить, это точная идентификация этого человека. Причём это не разовый процесс, а всю найденную нами информацию нужно оценивать с позиции принадлежности к нужному человеку. Это делается двумя способами:

- использование уникальных идентификаторов, т.е. таких которые не могут быть одинаковыми у двух разных человек. Например это может быть ИНН или серия и номер паспорта. Или, если говорить обобщённо, то в этой ситуации хорошо работают те идентификаторы, которые человеку присваивает государство.

- использование комбинации идентификаторов, которые в совокупности позволяют исключить шанс совпадения данных. Например, фамилия, имя и отчество, далеко не всегда гарантируют, что это именно тот кто нужен, а не его однофамилец. А вот комбинация ФИО, дата рождения и место рождения, уже практически гарантируют что это нужный человек.

Весь этот процес можно назвать — первичная идентификация. Суть которой это получение базового набора данных, которые нужны для того чтобы, в последующем, отождествлять найденную информацию с нужным человеком.

Базовый набор данных это, как правило ФИО, дата рождения, телефон, электронная почта, адрес проживания и регистрации, ИНН, серия номер паспорта.

Причём необходимость в них довольно частая история. Например, по ИНН можно быстро проверить является ли человек предпринимателем, в том числе учредителем или руководителем юридических лиц. Именно по ИНН это делать лучше, потому что это уникальный идентификатор и можно быть точно уверенным, что это именно нужный человек. А по паспорту, например, проверяется всё что связано с транспортом, например авиаперелёты.


Агрегаторы

Где брать эту первичную информацию? Очевидно, что наиболее удобный вариант это агрегаторы утечек. Это могут быть либо боты в телеграмме, либо сайты с тем же функционалом. Какие именно использовать не особо принципиальный вопрос.


Сбор информации

Первое, - используя ФИО и кавычки, смотрим что о человеке знает поисковик.

Также стоит отдельно пробовать то же самое, но без отчества. Это хорошо сработает если у человека хоть сколько-нибудь уникальная фамилия. С распространёнными фамилиями или совпадающими с фамилиями публичных людей, в таком виде это будет не особо эффективно. Но это не значит, что этого не нужно делать, просто скорее всего придется уточнить запрос с помощью дополнительных операторов.

Проверить точное совпадение по ФИО всегда не достаточно. После этого запрос нужно уточнить и конкретизировать. Есть несколько наиболее актуальных способов это сделать:

- использование знака -минус. Таким способом можно убрать не нужные результаты.

Используя минус можно убирать не только ключевые слова, но и конкретные сайты. Например если человека много в какой-то соцсети, например ютубе, а нам это не интересно, то к запросу мы добавим -site:youtube.com

Фильтрация по региональному домену. Это полезно если нужно промониторить упоминание кого-то в какой-то конкретной стране. Соответственно переводим фамилию и имя на язык, или языки, которые используются в нужной стране и добавляем к запросу оператор site: , и используем звездочку (* т.е. оператор «любое значение»), ограничивая поиск, не по какому-то конкретному сайту, а по любым сайтам имеющим национальный домен

"Pavel Durov" site:*.fr

В этом примере получили выборку на тему Павла Дурова в разрезе его упоминания на французских сайтах.

Также не стоит забывать, что региональные домены есть не только у стран, но и у многих больших городов. Что даёт возможность, если знаем город нужного человека, сильно сузить географию поиска и проверить, вдруг, он упоминался на каких-то местных сайтах. Ну и в обратную сторону это тоже можно применять т.е. используя -минус убирать из результатов ненужные региональные домены.


Фильтрация по теме и контексту

Тут будем использовать дорки intitle: и intext:

Первый позволяет искать по заголовкам, второй по содержимому страницы. И, комбинируя эти два оператора, очень удобно конкретизировать запрос.

Как это работает? Используя intitle: мы обобщённо обозначаем конкретный объект, который интересует (именно в этом случае это какой-то человек). Это работает потому как если что-то упоминается в заголовке, то логично предположить, что это ключевая тема найденной страницы.
Затем, добавляя оператор intext: , мы уточняем что именно ищем по теме.

Например, если просто напишем: intitle:"павел дуров" то получим кучу рандомных заголовков с упоминанием Павла Дурова. А с учетом его медийности, найти что-то конкретное о нём будет практически невозможно. Но если добавить intext:биография , то получим гораздо более уточнённые результаты.

intitle:"павел дуров" intext:биография

Важный момент, который нужно понимать именно в этой ситуации, это то, что в оператор intext: нужно вписать не вопрос, а ту часть ответа, которая, должна быть в тексте на странице. Ну и так как есть вероятность, что не угадали, то стоит попробовать разные вариации. Например, в приведённом примере с Дуровым, запрос биография сработал, так как он достаточно медийный персонаж. С менее медийным телом так не получится. Потому, если изучаем прошлое человека, и есть понимание, что какая-то инфа о нём в сети всё же должна быть, то нужно вписывать фразы типичные для среднестатистического человека. Например: "закончил институт", "назначен на должность", "переехал жить", ну и так далее, в таком же стиле. Это очень типичные фразы, используемые при описании прошлого - подбирать их нужно, в зависимости от личности персонажа. Под какого-то комерса одни фразы лучше сработают, под чиновника — другие.

Подобный способ не обязательно применять именно к историческим данным. Смысл в том, что таким способом можно собирать о человеке конкретизированную информацию, не отвлекаясь на посторонние источники.


Поиск страниц и активностей

Может быть такое что известно что-то типа никнейма. Это не обязательно с какого-то форума, Discord или игры. Как вариант, - нашли электронную почту формата durov@gmail.com , т.е. такую где используемое имя достаточно уникально. Ещё вариант — есть адрес социальной сети фигуранта, и там в URL, в качестве User ID, не числовое значение, а буквенная запись. Ещё один рабочий вариант это записать фамилию английскими буквами. В общем, всё это можно использовать для быстрого сбора дополнительной информации. Для этого понадобится дорк inurl: Как понятно из названия, он может искать по url-адресу. Соответственно его используем тогда, когда понимаем что есть что-то, что может быть частью адреса.
Для начала просто проверяем, какая есть информация, без дополнительных уточнений:

inurl:durov

Условно говоря, это способ быстрого поиска по никнейму без использования стороннего софта. Таким же способом можно проверить конкретные сайты или, используя минус, убрать те, которые точно уже не нужны:

site:twitter.com inurl:durov

Это необязательно использовать именно для поиска аккаунта. Можно уже его знать и, посмотрев как выглядит URL , использовать эту комбинацию дорков, совместно с дополнительными инструментами поиска, чтобы, например, выбрать все посты пользователя за какой-то промежуток времени. Или ещё вариант, например, добавив дорк intext: , можно собрать все посты пользователя посвящённые какой-то теме.

site:twitter.com inurl:durov intext:telegram


Поиск документов

Собирая информацию о человеке, всегда стоит проверить наличие документов, в которых он упоминается. Это можно сделать как по ФИО полностью, там и по имени-фамилии, а если человек публичный то не лишним будет сделать это на разных языках.

Например:
"Pavel Durov" filetype:pdf OR filetype:doc OR filetype:xls OR filetype:csv

"Павел Дуров" filetype:pdf OR filetype:doc OR filetype:xls OR filetype:csv

Если что-то подобное приходится делать более-менее часто, то можно подготовить себе шаблон, с нужными расширениями, и просто вписывать в него ФИО.


Дополнительные инструменты

В качестве альтернативного варианта обычному гуглению, также можно использовать https://whatsmyname.app Он одновременно закрывает несколько задач. Можно искать как по никнейму, так и по ФИО, причем можно одновременно в разных транскрипциях. Там есть возможность вписывать сразу несколько имён, но это стоит использовать только если нужно чередовать очередность имя-фамилия или добавить отчество. Несколько разных лучше не проверять, чтобы не было путаницы.

Whatsmyname проверяет около 600 источников. Кроме того, он в том же окне показывает результаты поиска в гугле, причём он показывает как обычный поиск по точному совпадению, так и поиск документов. Самый главный плюс в том что, т.к. запрос к гуглу делается через Google CSE, то получаем абсолютно нейтральный результат, не зависящий ни от геопозиции, ни от языка браузера, ни от аккаунта гугла. Найденные результаты можно сохранить сразу в pdf или csv, что тоже иногда полезно.

Ещё один, иногда полезный сервис, это
https://seintpl.github.io/NAMINT

Причём это не только про поиск, но и про оптимизацию. Смысл в том, что вводим имеющиеся данные. Например имя и фамилию, или полностью ФИО, можно добавить никнейм, а NAMINT из всего этого сформирует кучу разных комбинаций. И по каждой комбинации он даст кнопку, нажав на которую NAMINT перекинет в поиск либо в гугле, либо в других поисковиках, либо по социальным сетям. Это в первом блоке.

Во втором блоке NAMINT предложит кучу вариантов сокращений которые могут быть потенциальным логином, и так же как и в первом блоке, будут предложены варианты поиска по разным поисковикам и соцсетям.

Следующий блок тоже может быть полезен. Это разные варианты имени в адресе электронной почты. Каждый возможный адрес тут же можно проверить, причем проверить разными способами.

Важно помнить, что разделы с логином и электронной почтой актуальны только если вводились данные на английском.

Там ещё есть раздел с поиском Gravatar и возможные вариации электронной почты, но эти разделы менее полезны чем первые три.