swh.lister package

Subpackages

• swh.lister.arch package
  • Submodules
    • swh.lister.arch.lister module
    • swh.lister.arch.tasks module
  • Module contents
    • Arch Linux lister
    • register()
• swh.lister.aur package
  • Submodules
    • swh.lister.aur.lister module
    • swh.lister.aur.tasks module
  • Module contents
    • AUR (Arch User Repository) lister
    • register()
• swh.lister.bioconductor package
  • Submodules
    • swh.lister.bioconductor.lister module
    • swh.lister.bioconductor.tasks module
  • Module contents
    • register()
• swh.lister.bitbucket package
  • Submodules
    • swh.lister.bitbucket.lister module
    • swh.lister.bitbucket.tasks module
  • Module contents
    • register()
• swh.lister.bower package
  • Submodules
    • swh.lister.bower.lister module
    • swh.lister.bower.tasks module
  • Module contents
    • Bower lister
    • register()
• swh.lister.cgit package
  • Submodules
    • swh.lister.cgit.lister module
    • swh.lister.cgit.tasks module
  • Module contents
    • register()
• swh.lister.conda package
  • Submodules
    • swh.lister.conda.lister module
    • swh.lister.conda.tasks module
  • Module contents
    • Conda lister
    • register()
• swh.lister.cpan package
  • Submodules
    • swh.lister.cpan.lister module
    • swh.lister.cpan.tasks module
  • Module contents
    • Cpan lister
    • register()
• swh.lister.cran package
  • Submodules
    • swh.lister.cran.lister module
    • swh.lister.cran.tasks module
  • Module contents
    • register()
• swh.lister.crates package
  • Submodules
    • swh.lister.crates.lister module
    • swh.lister.crates.tasks module
  • Module contents
    • Crates lister
    • register()
• swh.lister.debian package
  • Submodules
    • swh.lister.debian.lister module
    • swh.lister.debian.tasks module
  • Module contents
    • register()
• swh.lister.dlang package
  • Submodules
    • swh.lister.dlang.lister module
    • swh.lister.dlang.tasks module
  • Module contents
    • Dlang lister
    • register()
• swh.lister.elm package
  • Submodules
    • swh.lister.elm.lister module
    • swh.lister.elm.tasks module
  • Module contents
    • Elm lister
    • register()
• swh.lister.gitea package
  • Submodules
    • swh.lister.gitea.lister module
    • swh.lister.gitea.tasks module
  • Module contents
    • register()
• swh.lister.github package
  • Submodules
    • swh.lister.github.lister module
    • swh.lister.github.tasks module
  • Module contents
    • register()
• swh.lister.gitiles package
  • Submodules
    • swh.lister.gitiles.lister module
    • swh.lister.gitiles.tasks module
  • Module contents
    • register()
• swh.lister.gitlab package
  • Submodules
    • swh.lister.gitlab.lister module
    • swh.lister.gitlab.tasks module
  • Module contents
    • register()
• swh.lister.gitweb package
  • Submodules
    • swh.lister.gitweb.lister module
    • swh.lister.gitweb.tasks module
  • Module contents
    • register()
• swh.lister.gnu package
  • Submodules
    • swh.lister.gnu.lister module
    • swh.lister.gnu.tasks module
    • swh.lister.gnu.tree module
  • Module contents
    • register()
• swh.lister.gogs package
  • Submodules
    • swh.lister.gogs.lister module
    • swh.lister.gogs.tasks module
  • Module contents
    • register()
• swh.lister.golang package
  • Submodules
    • swh.lister.golang.lister module
    • swh.lister.golang.tasks module
  • Module contents
    • register()
• swh.lister.hackage package
  • Submodules
    • swh.lister.hackage.lister module
    • swh.lister.hackage.tasks module
  • Module contents
    • Hackage lister
    • register()
• swh.lister.hex package
  • Submodules
    • swh.lister.hex.lister module
    • swh.lister.hex.tasks module
  • Module contents
    • register()
• swh.lister.julia package
  • Submodules
    • swh.lister.julia.lister module
    • swh.lister.julia.tasks module
  • Module contents
    • Julia lister
    • register()
• swh.lister.launchpad package
  • Submodules
    • swh.lister.launchpad.lister module
    • swh.lister.launchpad.tasks module
  • Module contents
    • register()
• swh.lister.maven package
  • Submodules
    • swh.lister.maven.lister module
    • swh.lister.maven.tasks module
  • Module contents
    • register()
• swh.lister.nixguix package
  • Submodules
    • swh.lister.nixguix.lister module
    • swh.lister.nixguix.tasks module
  • Module contents
    • NixGuix lister
    • register()
• swh.lister.npm package
  • Submodules
    • swh.lister.npm.lister module
    • swh.lister.npm.tasks module
  • Module contents
    • register()
• swh.lister.nuget package
  • Submodules
    • swh.lister.nuget.lister module
    • swh.lister.nuget.tasks module
  • Module contents
    • NuGet lister
    • register()
• swh.lister.opam package
  • Submodules
    • swh.lister.opam.lister module
    • swh.lister.opam.tasks module
  • Module contents
    • register()
• swh.lister.packagist package
  • Submodules
    • swh.lister.packagist.lister module
    • swh.lister.packagist.tasks module
  • Module contents
    • register()
• swh.lister.pagure package
  • Submodules
    • swh.lister.pagure.lister module
    • swh.lister.pagure.tasks module
  • Module contents
    • register()
• swh.lister.phabricator package
  • Submodules
    • swh.lister.phabricator.lister module
    • swh.lister.phabricator.tasks module
  • Module contents
    • register()
• swh.lister.pubdev package
  • Submodules
    • swh.lister.pubdev.lister module
    • swh.lister.pubdev.tasks module
  • Module contents
    • Pub.dev lister
    • register()
• swh.lister.puppet package
  • Submodules
    • swh.lister.puppet.lister module
    • swh.lister.puppet.tasks module
  • Module contents
    • Puppet lister
    • register()
• swh.lister.pypi package
  • Submodules
    • swh.lister.pypi.lister module
    • swh.lister.pypi.tasks module
  • Module contents
    • register()
• swh.lister.rpm package
  • Submodules
    • swh.lister.rpm.lister module
    • swh.lister.rpm.tasks module
  • Module contents
    • register()
• swh.lister.rubygems package
  • Submodules
    • swh.lister.rubygems.lister module
    • swh.lister.rubygems.tasks module
  • Module contents
    • RubyGems lister
    • register()
• swh.lister.save_bulk package
  • Submodules
    • swh.lister.save_bulk.lister module
    • swh.lister.save_bulk.tasks module
  • Module contents
    • register()
• swh.lister.sourceforge package
  • Submodules
    • swh.lister.sourceforge.lister module
    • swh.lister.sourceforge.tasks module
  • Module contents
    • register()
• swh.lister.stagit package
  • Submodules
    • swh.lister.stagit.lister module
    • swh.lister.stagit.tasks module
  • Module contents
    • register()
• swh.lister.tuleap package
  • Submodules
    • swh.lister.tuleap.lister module
    • swh.lister.tuleap.tasks module
  • Module contents
    • register()

Submodules

• swh.lister.cli module
• swh.lister.pattern module
  • ListerStats
    • ListerStats.pages
    • ListerStats.origins
    • ListerStats.dict()
  • Lister
    • Lister.LISTER_NAME
    • Lister.github_session
    • Lister.build_url()
    • Lister.http_request()
    • Lister.run()
    • Lister.get_state_from_scheduler()
    • Lister.set_state_in_scheduler()
    • Lister.state_from_dict()
    • Lister.state_to_dict()
    • Lister.finalize()
    • Lister.get_pages()
    • Lister.get_origins_from_page()
    • Lister.commit_page()
    • Lister.send_origins()
    • Lister.from_config()
    • Lister.from_configfile()
  • StatelessLister
    • StatelessLister.state_from_dict()
    • StatelessLister.state_to_dict()
• swh.lister.utils module
  • split_range()
  • is_valid_origin_url()
  • ArtifactNatureUndetected
  • ArtifactNatureMistyped
  • ArtifactWithoutExtension
  • url_contains_tarball_filename()
  • is_tarball()

Module contents

swh.lister.TARBALL_EXTENSIONS = ['.crate', '.gem', '.jar', '.love', '.zip', '.tar', '.tar.gz', '.tgz', '.tbz', '.tbz2', '.bz2', '.bzip2', '.tar.lzma', '.tar.lz', '.txz', '.tar.xz', '.tar.z', '.tar.Z', '.7z', '.oxt', '.pak', '.war', '.whl', '.vsix', '.VSIXPackage', '.tar.zst']

Tarball recognition pattern

swh.lister.get_lister(lister_name, db_url=None, **conf)

Instantiate a lister given its name.

Parameters:

• lister_name (str) – Lister’s name

• conf (dict) – Configuration dict (lister db cnx, policy, priority…)

Returns:

Tuple (instantiated lister, drop_tables function, init schema function, insert minimum data function)