☰

PDF ドキュメントのハイパーリンクをテストする

tag-icon • tag-icon hyperref pdf urls links
PDF ドキュメントのハイパーリンクをテストする

ファイルのハイパーリンクをテストする方法はありますか?多数のハイパーリンクを含むファイルpdfがあるとします。それらのリンクをたどったときの応答 ( = ok、= 見つかりませんなど) を自動的にテストできますか。pdf200404

ウェブページ用のツール（ソフトウェアなど）が存在することは知っています。Kリンクステータス、またはウェブサービスとして、W3Cのチェックリンク) ですが、 に相当するものはありますかpdf? そのようなものはないと思うので、texファイルに相当するものはありますか? これはいくつかのスクリプトと正規表現マジックで実行できると思いますが、既存の解決策があるかどうか疑問に思っていました。

\documentclass{article}
\usepackage{hyperref}

\begin{document}
\href{http://tex.stackexchange.com/test-404/}{This will give a 404}

\href{http://tex.stackexchange.com/}{This will give a 200}

\end{document}

答え1

curl をインストールします (パッケージのインストールに apt-get を使用すると仮定します):

sudo apt-get install curl

PDF ファイルの場合は次の操作を実行します。

cat document.pdf | grep -ao '[a-zA-Z]\+://[a-zA-Z.-]*[^)]\+' | while read LINE; do curl -o /dev/null --silent --head --write-out '%{http_code}' "$LINE";    echo " $LINE";  done

tex ファイルの場合は次の操作を実行します。

cat myfile.tex | grep -o '{[a-zA-Z]\+://[a-zA-Z.-]*[^}]\+}' | sed s/{// | sed s/}// | while read LINE; do curl -o /dev/null --silent --head --write-out '%{http_code}' "$LINE" echo " $LINE" done

すぐにテストするには、次のコマンドをコマンド ラインにコピーして貼り付けます。

echo "\documentclass{article}
\usepackage{hyperref}

\begin{document}
\href{http://tex.stackexchange.com/test-404/}{This will give a 404}

\href{http://tex.stackexchange.com/}{This will give a 200}

\end{document}" | grep -o '{[a-zA-Z]\+://[a-zA-Z.-]*[^}]\+}' | sed s/{// | sed s/}// | while read LINE; do
   curl -o /dev/null --silent --head --write-out '%{http_code}' "$LINE"
   echo " $LINE"
 done

詳細については以下を参照してください。

https://stackoverflow.com/questions/13611973/how-to-grep-for-a-url-in-a-file https://stackoverflow.com/questions/6136022/script-to-get-the-http-status-code-of-a-list-of-urls

答え2

Python を使用することに抵抗がなければ、これで十分でしょう。

私は pyPdf および urllib2 パッケージで python を使用します。ロジックは次のようになります: pyPdf.PdfFileReader で pdf を開き、ループします。以下の関数では、pdf開いている pdf ファイル オブジェクトです。

def get_urls(pdf):
    badurls = list()
    links = list()
    url_checker = URLChecker() # a helper function to test the URL (urllib2)
    for pg in range(pdf.getNumPages()):
        page = pdf.getPage(pg)
        obj = page.getObject()

        for a in obj.get('/Annots', []):
            u = a.getObject()
            lnk = u['/A'].get('/D')
            url = u['/A'].get('/URI')
            if lnk:
                links.append(lnk)
            if url:
                urls.append(url)
                result, reason = url_checker.check(url)
                if not result:
                    badurls.append({'url':url, 'reason': '%r' % reason})

    anchors = pdf.getNamedDestinations().keys()
    badlinks = [x for x in links if x not in anchors]
    return urls, badurls, badlinks

はurl_checkerURLを開き、エラーがある場合は を返します(False, error_string)。それ以外の場合は を返します。(True, None)

したがって、プロセスの最後には、PDF 内の URL のリスト、開けなかった不正な URL (理由を含む)、PDF 内のリンクのリスト、およびターゲット アンカーを持たないリンクのサブセットが得られます。

url_checker のロジックは省略しましたが、非常に簡単です。その部分を実行する方法は複数あります。requestsの代わりに パッケージを使用することもできますurllib2。

答え3

Qt4 と Poppler を使ったシンプルな C++ プログラムで十分でしょう。私はすぐにスケッチを描いて、いくつかの PDF でテストしました。mailto: プロトコルやその他のポートなどの奇妙なリンクに対してより堅牢にするために、かなり調整できると思います。もちろん、後で解析する必要がある場合は出力のフォーマットを改善できますが、これで十分です。

#include <QTcpSocket>
#include <QUrl>
#include <QByteArray>
#include <QList>
#include <poppler-qt4.h>
#include <QDebug>

  using namespace Poppler;

  QString urlGetStatus(const QUrl &url) {
    QString status;
    QTcpSocket socket;
    socket.connectToHost(url.host(), 80);
    if (socket.waitForConnected()) {
        socket.write("HEAD " + url.path().toUtf8() + " HTTP/1.1\r\n"
                     "Host: " + url.host().toUtf8() + "\r\n"
                     "\r\n");
        if (socket.waitForReadyRead()) {
                QByteArray bytes = socket.readAll();
                status = QString(bytes).mid(9, 3);
        }
    }
    return status;
  }

  int main(int argc, char *argv[]) {
    if(argc < 2) {
        return 1;
    }
    QString path = QString(argv[1]);
    Document *doc = Document::load(path);
    if(doc == NULL)
        return 1;
    QList<QUrl> urlList;
    for(int i = 0;i < doc->numPages(); i++) {        
        Page *p = doc->page(i);
        foreach(Link *li,p->links()) {
            if(li->linkType() == Link::Browse) {
                LinkBrowse *link = static_cast<LinkBrowse*>(li);
                urlList.append(QUrl(link->url()));
            }
        }
    }
    foreach(QUrl url, urlList) {
        QString stat = urlGetStatus(url);
        if(stat == "200") {
            qDebug() << url.toString() << "returned status 200";
        } else {
            qDebug() << url.toString() << " maybe not reachable status" << stat;
        }
    }
    return 0;
  }

私は cmake の友人なので、この CMakeLists.txt を使用してコンパイルしました。

cmake_minimum_required(VERSION 2.6)
project(qlinkextract)
set (CMAKE_MODULE_PATH "${PROJECT_SOURCE_DIR}/cmake/Modules/")

find_package(Qt4 REQUIRED QtCore QtNetwork)
include(${QT_USE_FILE})

find_package(Poppler REQUIRED)
include_directories(${POPPLER_QT_INCLUDE_DIR})

add_executable(qlinkextract main.cpp)
target_link_libraries(qlinkextract ${QT_LIBRARIES} ${POPPLER_QT_LIBRARIES})

Qt4 開発パッケージと Poppler-Qt4 開発パッケージが必要になります。CMakeModules ディレクトリに FindPoppler.cmake がない場合は、オンラインで入手してください。

コンパイルするには、プロジェクトディレクトリに qlinkextract があることを確認してください (次のように正確に記述する必要があります)

  • CMakeLists.txt (上記参照)
  • main.cpp (上記参照)
  • cmake/Modules/FindPoppler.cmake (どこかからダウンロード)
  • build/ (フォルダはオプション)

コンソールでビルドフォルダに移動し、次のように入力します。

cmake ..
make

何かが足りない場合は、不足しているパッケージをインストールしてください

出力例:

"http://www.igi-global.com/chapter/ontology-based-multimedia-indexing/42895?camid=4v1" returned status 200 
"http://www.igi-global.com/chapter/ontology-based-multimedia-indexing/42895?camid=4v1" returned status 200 
"http://www.igi-global.com/e-resources/library-recommendation/?id=1" returned status 200 
"http://www.igi-global.com/chapter/towards-low-cost-energy-monitoring/112719?camid=4v1a" returned status 200 
"http://www.igi-global.com/article/algebraic-properties-of-rough-set-on-two-universal-sets-based-on-multigranulation/116046?camid=4v1a" returned status 200 
"http://www.igi-global.com/article/algebraic-properties-of-rough-set-on-two-universal-sets-based-on-multigranulation/116046?camid=4v1a" returned status 200 
"http://www.igi-global.com/article/fuzzy-decision-support-system-for-coronary-artery-disease-diagnosis-based-on-rough-set-theory/111313?camid=4v1a" returned status 200 
"http://www.igi-global.com/article/fuzzy-decision-support-system-for-coronary-artery-disease-diagnosis-based-on-rough-set-theory/111313?camid=4v1a" returned status 200 
"http://www.igi-global.com/chapter/optimization-model-identification-temperature-intelligent/74536?camid=4v1a" returned status 200 
"http://www.igi-global.com/chapter/optimization-model-identification-temperature-intelligent/74536?camid=4v1a" returned status 200

関連情報