「プロキシ利用フラグ」「Free Proxy Server List」の作成手順

弊社では「Free Proxy Server List」という形で公開プロキシサーバのIPアドレスリストを提供しています。また、弊社の提供するAPIサービス「どこどこJP」では、プロキシとして稼働する可能性のあるIPアドレスに対して「プロキシ利用フラグ」というフラグを付与しています。
このページでは、「プロキシ利用フラグ」「Free Proxy Server List」作成までの調査手順を紹介します。

公開プロキシサーバの情報を収集する

インターネット上には、公開プロキシサーバの一覧を掲載しているWebサイトが存在します。調査の第一段階として、こういった種類のWebサイトの中を多数選定し、掲載された情報の収集を行うというプロセスがあります。 Webサイトによって公開されるデータのフォーマットが異なるため、それらを同一のフォーマットに加工する必要があります。

プロキシとしての動作を確認する

プロキシサーバリストとはでも解説しましたが、収集した公開プロキシサーバのIPアドレスがいつまでもプロキシサーバとして動作し続ける保証はありません。そのため、収集したIPアドレスがプロキシサーバとして動作するかどうかを確認し、動作が確認されたものだけを「プロキシ利用フラグ」「Free Proxy Server List」として提供する必要があります。
弊社の調査では、直近30日間にプロキシサーバとして動作したことが確認できたIPアドレスのみを「Free Proxy Server List」としています。

IPアドレスのレンジを加味した調査

回線情報・位置情報・企業情報などが同じIPアドレスの連続が見つかった場合、それを一つのレンジ（幅）という単位でまとめます。IPアドレスは通常、一個単位ではなくレンジ（幅）ごとに割り振られ、利用されます。
そのため、公開プロキシサーバのIPアドレスを収集した場合、IPアドレス単体ではなく、そのIPアドレスを含むIPアドレスレンジに対して、プロキシとして動作するリスクがあると考えます。
弊社では、IPアドレス単体ではなくそのIPアドレスを含むIPアドレスレンジ全体を対象に、「プロキシ利用フラグ」を付与しています。
「Free Proxy Server List」はIPアドレス単位で、「プロキシ利用フラグ」はIPアドレスのレンジ単位でフラグが付与されます。

プロキシ利用フラグ・「Free Proxy Server List」 の利用をご検討の方、詳細をご希望の方はどこどこJPのWebサイトをご覧ください。

まとめ

• 公開プロキシサーバの一覧を掲載しているWebサイトから、定期的に情報を収集する。
• 収集したIPアドレスがプロキシサーバとして稼働しているかどうかを確認する。
• 「プロキシ利用フラグ」はIPアドレスのレンジ（幅）単位で付与される。