Biến các URL riêng tư (yêu cầu VPN) thành các URL tạm thời cho phép thay đổi trang nhưng ẩn nội dung để bảo vệ quyền riêng tư của nó. Có một vấn đề phổ biến khi kiểm tra các trang web doanh nghiệp dàn dựng bên trong mạng công ty. Nếu bạn làm việc trong nhà, trước tiên bạn kết nối với mạng công ty bằng ứng dụng khách VPN. Sau đó, bạn cần chạy các công cụ kiểm tra để xem xét các trang. Các công cụ duy nhất hoạt động là những công cụ mà bạn có thể chạy trực tiếp từ máy tính của mình. Ví dụ, con nhện ScreamingFrog, là một chương trình có thể tải xuống. Tuy nhiên, nhiều trang web doanh nghiệp có hàng triệu trang khiến việc thu thập dữ liệu từ máy tính của bạn không thực tế do hạn chế về thời gian hoặc tài nguyên máy. Các trình thu thập dữ liệu dựa trên đám mây dành cho doanh nghiệp như DeepCrawl, Ryte, Oncrawl, v.v. phù hợp hơn với loại công việc này. Tuy nhiên, họ không thể kiểm tra các trang web bên trong mạng riêng. Ngoài ra, điều này còn để lại nhiều công cụ có giá trị khác như công cụ Kiểm tra URL của Google và Bing , rất quan trọng để kiểm tra nội dung theo hướng JavaScript. Nếu bạn làm việc ở phía đại lý, bạn có thêm sự phức tạp là tuân thủ bảo mật và quyền riêng tư hiện là một yêu cầu bắt buộc để làm việc với các doanh nghiệp. Thông thường bạn phải hoàn thành bảng câu hỏi bảo mật mở rộng trước khi bạn được coi là nhà cung cấp. Nội dung trong trang dàn dựng bên trong mạng riêng có thể chưa sẵn sàng để công khai. Giới thiệu các công cụ quản trị mạng cho SEO Trong các bài viết trước, tôi đã đề cập đến tầm quan trọng của việc nhận thức được các công cụ và kỹ thuật được sử dụng trong các ngành công nghiệp CNTT và phát triển. Trong bài viết này, tôi sẽ tiếp tục làm cho trường hợp đó. Tôi xin giới thiệu một số công cụ quen thuộc với quản trị viên hệ thống và mạng: ngrok và mitmproxy . Chúng tôi có thể sử dụng ngrok để biến các URL riêng tư (yêu cầu VPN) thành các URL tạm thời và công khai. Chúng tôi có thể sử dụng mitmproxy để thực hiện các thay đổi đối với các trang và ẩn và / hoặc làm xáo trộn nội dung và bảo vệ quyền riêng tư của nó. Điều này yêu cầu viết các tập lệnh Python đơn giản. Proxy và đường hầm HTTP Trước khi tôi đi sâu vào và chơi với các công cụ, hãy để tôi xem qua các khái niệm cơ bản của chúng. https://developer.mozilla.org/en-US/docs/Web/HTTP/Proxy_servers_and_tunneling “Khi điều hướng qua các mạng khác nhau của Internet, máy chủ proxy và đường hầm HTTP đang tạo điều kiện truy cập vào nội dung trên World Wide Web . Một proxy có thể nằm trên máy tính cục bộ của người dùng hoặc ở bất kỳ đâu giữa máy tính của người dùng và máy chủ đích trên Internet. Trang này trình bày một số khái niệm cơ bản về proxy và giới thiệu một số tùy chọn cấu hình. " Proxy và đường hầm HTTP là cách tiếp cận tiêu chuẩn để chuyển tiếp các yêu cầu / trang và cung cấp chúng từ trang nguồn này sang trang khác. Vui lòng xem lại bài viết được liên kết để tìm hiểu thêm về chủ đề. Ngrok tạo ra các đường hầm HTTP và mitmproxy là một proxy ngược. Đây là hai trường hợp sử dụng khác nhau phù hợp để giải quyết các vấn đề mà tôi đã đề cập ở phần đầu. Sử dụng Ngrok Ng r ok tạo đường hầm HTTP và cực kỳ đơn giản để thiết lập và sử dụng. Giả sử trang web dàn dựng của bạn là https://staging.internal-network.net:8080 và bạn chỉ có thể mở trang sau khi kết nối bằng ứng dụng khách VPN. Bạn có thể tạm thời hiển thị trang web này để có thể xác minh Google Search Console và Bing Webmaster Tools, đồng thời chạy các công cụ kiểm tra URL (hoặc trình thu thập thông tin doanh nghiệp) trên các URL được hiển thị. Đây là cách bạn làm điều đó: Tải xuống và cài đặt ngrok cho máy Mac hoặc Windows PC của bạn. Mở cửa sổ dòng lệnh và khởi chạy ngrok. Ngrok là một công cụ dòng lệnh, vì vậy bạn cần chạy nó trong một trình bao và chuyển các tham số để nó hoạt động. Bây giờ, hãy tạo đường hầm HTTP và URL tạm thời. ./ngrok http staging.internal-network.net:8080 > ngrok.log 2>&1 & Ở đây tôi yêu cầu ngrok hiển thị máy chủ web chỉ có thể truy cập từ máy tính của tôi ở cổng 8080. Tôi đã thêm một số lệnh bổ sung để ghi lại bất kỳ lỗi nào vào ngrok.log và cuối cùng muốn quá trình chạy trong nền và để tôi nhập thêm lệnh . tail ngrok.log Tôi kiểm tra nhật ký không có gì và điều đó có nghĩa là nó sẽ hoạt động tốt. Tiếp theo, tôi cần tạo URL công khai. Tôi cần thực hiện một lệnh gọi API tới dịch vụ, nó trả về phản hồi JSON mà tôi cần phân tích cú pháp. Chúng tôi sẽ đơn giản hóa phần này bằng cách tải xuống một công cụ dòng lệnh tiện dụng khác, jq . Giả sử bạn cũng có curl , bạn có thể lấy URL tạm thời bằng lệnh này. curl -s http://localhost:4040/api/tunnels | jq ".tunnels[0].public_url" Bạn sẽ nhận được một URL mà bạn có thể mở trong trình duyệt web của mình như sau: “ Https://f8139ca0f3b9.ngrok.io “ Sau khi bạn mở nó, bạn sẽ thấy trang web nội bộ. Hãy thử sử dụng Công cụ kiểm tra phong phú trên đó (URL bạn nhận được, không phải ví dụ này) và nó sẽ hoạt động. Làm thế nào là thú vị? Vì bạn không sở hữu miền ngrok.io, bạn cần thực hiện thêm một bước để đăng ký với Google Search Console và Bing Webmaster Tools. Bạn cần tạo tài khoản và đăng ký miền tùy chỉnh mà bạn kiểm soát. Trước khi tạo đường hầm, bạn cần phải xác thực. ./ngrok authtoken <token> Sau đó, bạn thêm một tham số khác để chỉ định miền tùy chỉnh trong khi tạo đường hầm. ./ngrok http -hostname=dev.yourdomain.com staging.internal-network.net:8080 > ngrok.log 2>&1 & Bạn sẽ có thể đăng ký miền phụ này và chạy các công cụ kiểm tra URL (hoặc trình thu thập thông tin doanh nghiệp yêu thích của bạn). Sử dụng Mitmproxy Vì vậy, chúng tôi đã học cách phơi bày các trang web dàn dựng bên trong mạng công ty bằng các URL công khai tạm thời. Nhưng, điều gì sẽ xảy ra nếu chúng ta không thể mạo hiểm công khai nội dung và vô tình tiết lộ những tin tức không được thông báo có thể gây tổn hại cho một công ty niêm yết công khai? Một tùy chọn là xếp lớp trong proxy ngược và sử dụng nó để ẩn hoặc làm xáo trộn bất kỳ thông tin cá nhân nào trong HTML và / hoặc hình ảnh để bảo vệ quyền riêng tư của công ty. Mitmproxy là một proxy HTTPS tuyệt vời, trong số nhiều thứ, cho phép bạn sửa đổi lưu lượng HTTP đi qua nó một cách nhanh chóng , ngay cả HTTPS, được mã hóa! Bạn có thể thực hiện thay thế văn bản đơn giản trong dòng lệnh hoặc bất kỳ sửa đổi tùy ý nào bằng cách viết các tập lệnh Python đơn giản . Mitmproxy có thể hoạt động ở một số chế độ, chúng tôi quan tâm đến chế độ proxy ngược của nó . Nó là một gói Python, vì vậy bạn có thể cài đặt nó bằng cách sử dụng. pip install mitmproxy Sau đó gọi nó bằng cách sử dụng. mitmproxy -P 8081 --mode reverse:https://staging.internal-network.net:8080 Hãy để tôi minh họa kỹ thuật mạnh mẽ này bằng một ví dụ. Tôi sẽ truy cập StackOverflow proxy ngược và thay đổi văn bản trong H1 của họ từ “Mọi người” thành “SEO” mitmproxy -P 8081 --mode reverse:https://stackoverflow.com/ --modify-body '/ people who code/ SEOs who code' Hãy mở trình duyệt trên http: // localhost: 8081 và xem nó có hoạt động không. Kaboom! Bây giờ hãy nói với tôi đây không phải là thứ thú vị Ý tưởng là thay thế bất kỳ văn bản hoặc hình ảnh nào không được hiển thị công khai. Bạn sẽ cần chạy ngrok sau đó hướng dẫn nó kết nối với proxy ngược này tại cổng 8081 thay vì trực tiếp với máy chủ nguồn. ./ngrok http -hostname=dev.yourdomain.com localhost:8081 > ngrok.log 2>&1 & MIT là viết tắt của ( Man in the middle attack ), là một khái niệm bảo mật thông tin có nghĩa là có một thiết bị / phần tử chặn trong một cuộc trò chuyện hai chiều. Thiết bị này có thể đánh hơi hoặc giả mạo thông tin được truyền đi. Như bạn có thể tưởng tượng, điều này có thể được sử dụng cho các mục đích bất chính. May mắn thay, trong trường hợp của chúng tôi, chúng tôi muốn sử dụng nó cho tốt. Chúng tôi muốn ẩn / làm mờ thông tin nhạy cảm khỏi các trang nội bộ trước khi công khai chúng với ngrok Source: https://tktech.vn/
