swh.lister package

Subpackages:

• swh.lister.arch package
  • swh.lister.arch.lister module
    • ArchLister
  • swh.lister.arch.tasks module
  • Arch Linux lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.aur package
  • swh.lister.aur.lister module
    • AurLister
  • swh.lister.aur.tasks module
  • AUR (Arch User Repository) lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.bioconductor package
  • swh.lister.bioconductor.lister module
    • BioconductorListerState
    • BioconductorLister
  • swh.lister.bioconductor.tasks module
  • register()
• swh.lister.bitbucket package
  • swh.lister.bitbucket.lister module
    • BitbucketListerState
    • BitbucketLister
  • swh.lister.bitbucket.tasks module
  • register()
• swh.lister.bower package
  • swh.lister.bower.lister module
    • BowerLister
  • swh.lister.bower.tasks module
  • Bower lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.cgit package
  • swh.lister.cgit.lister module
    • CGitLister
  • swh.lister.cgit.tasks module
  • register()
• swh.lister.conda package
  • swh.lister.conda.lister module
    • CondaLister
  • swh.lister.conda.tasks module
  • Conda lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.cpan package
  • swh.lister.cpan.lister module
    • get_field_value()
    • get_module_version()
    • CpanLister
  • swh.lister.cpan.tasks module
  • Cpan lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.cran package
  • swh.lister.cran.lister module
    • CRANLister
  • swh.lister.cran.tasks module
  • register()
• swh.lister.crates package
  • swh.lister.crates.lister module
    • CratesListerState
    • CratesLister
  • swh.lister.crates.tasks module
  • Crates lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.debian package
  • swh.lister.debian.lister module
    • DebianListerState
    • DebianLister
  • swh.lister.debian.tasks module
  • register()
• swh.lister.dlang package
  • swh.lister.dlang.lister module
    • DlangLister
  • swh.lister.dlang.tasks module
  • Dlang lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.elm package
  • swh.lister.elm.lister module
    • ElmListerState
    • ElmLister
  • swh.lister.elm.tasks module
  • Elm lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.gitea package
  • swh.lister.gitea.lister module
    • GiteaLister
  • swh.lister.gitea.tasks module
  • register()
• swh.lister.github package
  • swh.lister.github.lister module
    • GitHubListerState
    • GitHubLister
  • swh.lister.github.tasks module
  • register()
• swh.lister.gitiles package
  • swh.lister.gitiles.lister module
    • GitilesLister
  • swh.lister.gitiles.tasks module
  • register()
• swh.lister.gitlab package
  • swh.lister.gitlab.lister module
    • GitLabListerState
    • PageResult
    • GitLabLister
  • swh.lister.gitlab.tasks module
  • register()
• swh.lister.gitweb package
  • swh.lister.gitweb.lister module
    • GitwebLister
    • try_to_determine_git_repository()
    • parse_last_update()
  • swh.lister.gitweb.tasks module
  • register()
• swh.lister.gnu package
  • swh.lister.gnu.lister module
    • GNULister
  • swh.lister.gnu.tasks module
  • swh.lister.gnu.tree module
    • GNUTree
    • find_artifacts()
    • check_filename_is_archive()
    • get_version()
    • load_raw_data()
    • format_date()
  • register()
• swh.lister.gogs package
  • swh.lister.gogs.lister module
    • GogsListerPage
    • GogsListerState
    • GogsLister
  • swh.lister.gogs.tasks module
  • register()
• swh.lister.golang package
  • swh.lister.golang.lister module
    • GolangStateType
    • GolangLister
  • swh.lister.golang.tasks module
  • register()
• swh.lister.hackage package
  • swh.lister.hackage.lister module
    • HackageListerState
    • HackageLister
  • swh.lister.hackage.tasks module
  • Hackage lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.hex package
  • swh.lister.hex.lister module
    • get_tar_url()
    • HexListerState
    • HexLister
  • swh.lister.hex.tasks module
  • register()
• swh.lister.julia package
  • swh.lister.julia.lister module
    • JuliaListerState
    • JuliaLister
  • swh.lister.julia.tasks module
  • Julia lister
    • Origins retrieval strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.launchpad package
  • swh.lister.launchpad.lister module
    • LaunchpadListerState
    • origin()
    • retry_if_restful_error()
    • LaunchpadLister
  • swh.lister.launchpad.tasks module
  • register()
• swh.lister.maven package
  • swh.lister.maven.lister module
    • MavenListerState
    • MavenLister
  • swh.lister.maven.tasks module
  • register()
• swh.lister.nixguix package
  • swh.lister.nixguix.lister module
    • ArtifactNatureUndetected
    • ArtifactNatureMistyped
    • ArtifactWithoutExtension
    • ChecksumLayout
    • MAPPING_CHECKSUM_LAYOUT
    • Artifact
    • VCS
    • ArtifactType
    • url_contains_tarball_filename()
    • is_tarball()
    • VCS_ARTIFACT_TYPE_TO_VISIT_TYPE
    • NixGuixLister
  • swh.lister.nixguix.tasks module
  • NixGuix lister
  • register()
• swh.lister.npm package
  • swh.lister.npm.lister module
    • NpmListerState
    • NpmLister
  • swh.lister.npm.tasks module
  • register()
• swh.lister.nuget package
  • swh.lister.nuget.lister module
    • NugetListerState
    • NugetLister
  • swh.lister.nuget.tasks module
  • NuGet lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.opam package
  • swh.lister.opam.lister module
    • opam()
    • OpamLister
    • opam_init()
  • swh.lister.opam.tasks module
  • register()
• swh.lister.packagist package
  • swh.lister.packagist.lister module
    • NotModifiedSinceLastVisit
    • PackagistListerState
    • PackagistLister
  • swh.lister.packagist.tasks module
  • register()
• swh.lister.pagure package
  • swh.lister.pagure.lister module
    • PagureLister
  • swh.lister.pagure.tasks module
  • register()
• swh.lister.phabricator package
  • swh.lister.phabricator.lister module
    • PhabricatorLister
    • get_repo_url()
  • swh.lister.phabricator.tasks module
  • register()
• swh.lister.pubdev package
  • swh.lister.pubdev.lister module
    • PubDevLister
  • swh.lister.pubdev.tasks module
  • Pub.dev lister
    • Origins retrieving strategy
    • Origins from page
    • Getting last update date for each package
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.puppet package
  • swh.lister.puppet.lister module
    • PuppetListerState
    • PuppetLister
  • swh.lister.puppet.tasks module
  • Puppet lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.pypi package
  • swh.lister.pypi.lister module
    • PyPIListerState
    • pypi_url()
    • PyPILister
  • swh.lister.pypi.tasks module
  • register()
• swh.lister.rpm package
  • swh.lister.rpm.lister module
    • RPMPageType
    • RPMSourceData
    • RPMListerState
    • RPMLister
  • swh.lister.rpm.tasks module
  • register()
• swh.lister.rubygems package
  • swh.lister.rubygems.lister module
    • RubyGemsLister
  • swh.lister.rubygems.tasks module
  • RubyGems lister
    • Origins retrieving strategy
    • Page listing
    • Origins from page
    • Running tests
    • Testing with Docker
  • register()
• swh.lister.sourceforge package
  • swh.lister.sourceforge.lister module
    • VcsNames
    • SourceForgeListerEntry
    • SourceForgeListerState
    • SourceForgeLister
  • swh.lister.sourceforge.tasks module
  • register()
• swh.lister.stagit package
  • swh.lister.stagit.lister module
    • StagitLister
  • swh.lister.stagit.tasks module
  • register()
• swh.lister.tuleap package
  • swh.lister.tuleap.lister module
    • TuleapLister
  • swh.lister.tuleap.tasks module
  • register()

Submodules:

• swh.lister.cli module
• swh.lister.pattern module
  • ListerStats
    • ListerStats.pages
    • ListerStats.origins
    • ListerStats.dict()
  • Lister
    • Lister.LISTER_NAME
    • Lister.github_session
    • Lister.build_url()
    • Lister.http_request()
    • Lister.run()
    • Lister.get_state_from_scheduler()
    • Lister.set_state_in_scheduler()
    • Lister.state_from_dict()
    • Lister.state_to_dict()
    • Lister.finalize()
    • Lister.get_pages()
    • Lister.get_origins_from_page()
    • Lister.commit_page()
    • Lister.send_origins()
    • Lister.from_config()
    • Lister.from_configfile()
  • StatelessLister
    • StatelessLister.state_from_dict()
    • StatelessLister.state_to_dict()
• swh.lister.utils module
  • split_range()
  • is_valid_origin_url()

Module contents:

swh.lister.TARBALL_EXTENSIONS = ['crate', 'gem', 'jar', 'love', 'zip', 'tar', 'gz', 'tgz', 'tbz', 'bz2', 'bzip2', 'lzma', 'lz', 'txz', 'xz', 'z', 'Z', '7z', 'oxt', 'pak', 'war', 'whl', 'vsix', 'VSIXPackage', 'zst']

Tarball recognition pattern

swh.lister.get_lister(lister_name, db_url=None, **conf)

Instantiate a lister given its name.

Parameters:

• lister_name (str) – Lister’s name

• conf (dict) – Configuration dict (lister db cnx, policy, priority…)

Returns:

Tuple (instantiated lister, drop_tables function, init schema function, insert minimum data function)