こんにちは、インターネットゼミの小障子(@The_Ko_Show_)です。
インターネットゼミは「インターネット」について日々研究を行っているゼミです。
「インターネット」には多くの意味合いが思い浮かぶと思いますが、ゼミとしては特定の定義に限定せず広く各個人のインターネットについて研究を進めています。
インターネットゼミについてはこちらの記事をご覧ください。
現在はオフィス近郊にラックを借りた上でAS63790を取得し、そのAS番号を用いて実験や研究を行いつつ、その結果を社内にフィードバックしています。もしピアリングやネットワーキングに興味がある方がいらっしゃればぜひご連絡ください。
インターネットゼミのインターネット構成
インターネットゼミの「Public ASプロジェクト」ではパブリックなAS番号 (AS63790) を取得し、我々が利用しているThe Internetへ参加することでインターネットの仕組みやどのようにトラフィックを運用すべきであるのかを研究しています。
2024年2月22日現在、Public ASプロジェクトは株式会社ブロードバンドタワー様のご協力を得て、AS7530とAS9607からトランジット接続を提供いただいています。
AS7530の上流はAS9607のため、インターネット上からはAS9607のみを経由してインターネットに接続しているように見えています。
現状でもマルチホームの要件は満たしていますが、ASの安定運用を目指して冗長性の高い構成にしたいという話になりました。
OPEN.ad.jpとの接続
この度ご縁があり、けしからん実験用ASの先輩であるOPENプロジェクトに参加し、ソフトイーサ株式会社様(AS59103)からトランジット接続を提供いただくことになりました。
トランジット接続するには異なるデータセンタに設置されている互いの機器をどのように接続するか検討する必要があります。
NGN上でのVPNを使った接続も選択肢にありましたが、光伝送などの実験も視野に入れ今回はダークファイバーを使った接続で検討を進めました。
また、OPENプロジェクトに参加している他組織への接続なども考慮しダークファイバーをL2スイッチで一度受けてから必要なVLANを取り出して接続する方式にすることにしました。
最終的には下記の様な構成となりました。
構成が決まったらNTTダークファイバーやデータセンタ構内配線の手配を行います。ダークファイバーについてあまり聞き馴染みが無い方も多いと思うのでダークファイバーについて説明します。
ダークファイバーとは
ダークファイバーとはNTTやKDDIなどの電気通信事業者が敷設したファイバーのうち利用されていない芯線のことです。光が通っていない=暗いことからダークファイバーと呼ばれています。
接続する距離によっても異なりますが、ダークファイバーを活用することで専用線サービスと比較し安価に拠点間接続が可能です。
そんな一見便利に聞こえるダークファイバーですが様々な制約が存在します。
- 利用可能かはダークファイバーの空き状況によって異なる
- 光ファイバーの距離と品質
- 工事・天気・災害による障害・メンテナンスと運用
利用可能かはダークファイバーの空き状況によって異なる
今回接続する拠点でNTTダークファイバーを利用する場合は以下のような接続構成となります。
拠点間を接続するダークファイバーを1芯契約するためには図中の3本のファイバーが空いてある必要があります。
多数の事業者が利用しやすい人気の区間などでは局舎間のDFが枯渇することがあります。この場合は開放されるまで待つことにしました。
ダークファイバーの距離と品質
NTTなどの電気通信事業者が敷設したダークファイバーは電柱や洞道を通ります。その都合上、電柱の位置や川や道路などの都合によって直線距離と比べるとかなり遠回りしたルートとなります。
以下は京王電鉄の光ファイバーネットワーク図です。例えば渋谷のNTTから八王子のNTTまで接続する場合京王電熱の線路沿いを通るという都合から直線距離と比較してかなり遠回りの接続になることがわかるかと思います。
NTTダークファイバーの場合は2000年代の古いファイバーなどが混ざっており、払い出されるファイバーによってかなり品質が異なります。
図「NTTダークファイバーを使った接続構成」を見ると分かる通り、途中で複数のパッチパネルを挟んで接続しているので接続点毎に減衰が発生します。
ダークファイバーを利用する場合はこれらの減衰などを考慮した設計を行う必要があります。
今回は直線距離では約4kmでしたが、ダークファイバーの距離や途中の減衰を考慮し40kmに対応したfs.com製のトランシーバーを選定しました。
工事・天気・災害による障害・メンテナンス
ダークファイバーを運用するには経路上の障害やメンテナンスも考慮する必要があります。
- 途中の電柱の⽀障移転⼯事によるメンテナンス
- 途中のファイバー破断
- 地震などの災害で電柱が倒れたり、ケーブルが引っ張られて破断
- 工事車両が電柱のケーブルを引っ掛けて破断
- 動物がケーブルを噛んで破断
- などなど
ダークファイバーは専用線と比較し安価ですが、物理的な現実の世界も考慮して運用する必要があります。
また、専用線サービスの場合はこれらの障害の検知や迂回などの対応を行ってくれますが、ダークファイバーを利用する場合は障害の検知はもちろん、障害箇所の特定もユーザー側で対応する必要があります。
インターネットゼミは実験用ネットワークのため、障害・メンテナンスが許容できるため経路冗長は考慮せずに計画を進めました。
ダークファイバーの引き込みの様子
2023年12月にインターネットゼミの契約するデータセンタにてダークファイバーの開通試験とL2接続の確認を行いました。
今回は一般的に利用されている10G-LRなどの光ファイバーを2芯を用いるトランシーバーではなく、1芯で送受信が実現可能な10G-BiDiを用いたことで1芯のみダークファイバーを契約しました。
光パルス試験機(OTDR)を用いてダークファイバーの品質チェックなども行い、問題なく接続できることを確認しました。
まとめ
インターネットゼミのトランジット接続強化に向け、OPEN.ad.jpとダークファイバーを用いて拠点間接続を行いました。今後は、AS59103とBGP接続を行う予定です。
また、インターネットゼミではこのようなAS63790で研究するだけではなく、意欲のあるエンジニアにラックやネットワーク環境の提供を行っています。詳しくはこちらの記事をご確認ください。
今後もインターネットゼミの活動を通して「けしからん」とは何であるのかを学び、よりインターネットに貢献していきたいと思います。
インターネットゼミの活動に際し、株式会社ブロードバンドタワー様、ソフトイーサ株式会社様、OPENプロジェクトの皆様のご協力にこの場をお借りして御礼申し上げます。