Skip to main content
Ctrl+K
Software Heritage documentation - Home Software Heritage documentation - Home
  • Development
  • API reference
  • Usage
  • Infrastructure
  • About this documentation project
  • GitLab
  • PyPI
  • System Status
  • Software Heritage Homepage
  • Development
  • API reference
  • Usage
  • Infrastructure
  • About this documentation project
  • GitLab
  • PyPI
  • System Status
  • Software Heritage Homepage

Section Navigation

  • swh.alter
    • Using swh-alter
    • Removal algorithm
    • Recovery bundles
    • swh.alter package
      • swh.alter.bech32 module
      • swh.alter.cli module
      • swh.alter.inventory module
      • swh.alter.mirror_notification_watcher module
      • swh.alter.notifications module
      • swh.alter.operations module
      • swh.alter.progressbar module
      • swh.alter.recovery_bundle module
      • swh.alter.removable module
      • swh.alter.subgraph module
      • swh.alter.utils module
  • swh.auth
    • Command-line interface
    • Django components
    • swh.auth package
      • swh.auth.django package
        • swh.auth.django.backends module
        • swh.auth.django.middlewares module
        • swh.auth.django.models module
        • swh.auth.django.utils module
        • swh.auth.django.views module
      • swh.auth.starlette package
        • swh.auth.starlette.backends module
      • swh.auth.cli module
      • swh.auth.keycloak module
      • swh.auth.pytest_plugin module
      • swh.auth.utils module
  • swh.core
    • Command-line interface
    • Common database utilities
    • swh.core package
      • swh.core.api package
        • swh.core.api.asynchronous module
        • swh.core.api.classes module
        • swh.core.api.gunicorn_config module
        • swh.core.api.negotiation module
        • swh.core.api.serializers module
      • swh.core.cli package
        • swh.core.cli.backend module
        • swh.core.cli.db module
        • swh.core.cli.sentry module
      • swh.core.db package
        • swh.core.db.common module
        • swh.core.db.db_utils module
      • swh.core.github package
        • swh.core.github.pytest_plugin module
        • swh.core.github.utils module
      • swh.core.api_async module
      • swh.core.collections module
      • swh.core.config module
      • swh.core.logger module
      • swh.core.logging module
      • swh.core.pytest_plugin module
      • swh.core.retry module
      • swh.core.sentry module
      • swh.core.statsd module
      • swh.core.tarball module
      • swh.core.utils module
  • swh.counters
    • swh.counters package
      • swh.counters.api package
        • swh.counters.api.client module
        • swh.counters.api.server module
      • swh.counters.cli module
      • swh.counters.history module
      • swh.counters.in_memory module
      • swh.counters.interface module
      • swh.counters.journal_client module
      • swh.counters.kafka_client module
      • swh.counters.redis module
  • swh.datasets
    • Luigi workflows
    • Command-line interface
    • swh.datasets package
      • swh.datasets.luigi package
        • swh.datasets.luigi.aggregate_datasets module
        • swh.datasets.luigi.blobs_datasets module
        • swh.datasets.luigi.file_names module
        • swh.datasets.luigi.origin_contributors module
      • swh.datasets.cli module
      • swh.datasets.shell module
  • swh.deposit
    • Deposit API
      • User Manual
      • API Documentation
        • Service document
        • Create deposit
        • Update content
        • Update metadata
        • Retrieve status
        • Display content
      • Deposit metadata
      • Use cases
      • Register account
    • Deposit internals
      • Running swh-deposit locally
      • Production deployment
      • Authentication
      • Loading workflow
    • Specifications
      • Loading specification
      • Protocol reference
      • The metadata-only deposit
    • swh.deposit package
      • swh.deposit.api package
        • swh.deposit.api.private package
        • swh.deposit.api.collection module
        • swh.deposit.api.common module
        • swh.deposit.api.content module
        • swh.deposit.api.converters module
        • swh.deposit.api.edit module
        • swh.deposit.api.edit_media module
        • swh.deposit.api.service_document module
        • swh.deposit.api.state module
        • swh.deposit.api.sword_edit module
        • swh.deposit.api.urls module
        • swh.deposit.api.utils module
      • swh.deposit.cli package
        • swh.deposit.cli.admin module
        • swh.deposit.cli.client module
      • swh.deposit.fixtures package
      • swh.deposit.loader package
        • swh.deposit.loader.checker module
        • swh.deposit.loader.checks module
        • swh.deposit.loader.tasks module
      • swh.deposit.templates package
        • swh.deposit.templates.deposit package
      • swh.deposit.tests_migration package
      • swh.deposit.apps module
      • swh.deposit.auth module
      • swh.deposit.client module
      • swh.deposit.config module
      • swh.deposit.errors module
      • swh.deposit.exception module
      • swh.deposit.gunicorn_config module
      • swh.deposit.manage module
      • swh.deposit.models module
      • swh.deposit.parsers module
      • swh.deposit.urls module
      • swh.deposit.utils module
    • Command-line interface
  • swh.export
    • Software Heritage Graph Dataset
      • Dataset
      • Relational schema
      • Setup on Amazon Athena
      • Setup on Azure Databricks
    • Exporting a dataset
    • Exporting a subdataset
    • swh.export package
      • swh.export.exporters package
        • swh.export.exporters.edges module
        • swh.export.exporters.orc module
      • swh.export.test namespace
        • swh.export.test.test_edges module
        • swh.export.test.test_journal_processor module
        • swh.export.test.test_orc module
        • swh.export.test.test_utils module
      • swh.export.athena module
      • swh.export.cli module
      • swh.export.exporter module
      • swh.export.journalprocessor module
      • swh.export.luigi module
      • swh.export.relational module
      • swh.export.utils module
  • swh.fuse
    • Command-line interface
    • Configuration
    • Design notes
    • Tutorial
    • swh.fuse package
      • swh.fuse.fs namespace
        • swh.fuse.fs.artifact module
        • swh.fuse.fs.entry module
        • swh.fuse.fs.mountpoint module
      • swh.fuse.cache module
      • swh.fuse.cli module
      • swh.fuse.fuse module
  • swh.graph
    • Quickstart
    • Graph Querying HTTP API
    • Using the gRPC API
    • Rust API
    • Memory & Performance tuning
    • Graph compression
    • Command-line interface
    • Docker environment
    • git2graph
    • Example dataset
    • Provenance index
    • swh.graph package
      • swh.graph.example_dataset package
        • swh.graph.example_dataset.generate_dataset module
      • swh.graph.grpc namespace
        • swh.graph.grpc.swhgraph_pb2 module
        • swh.graph.grpc.swhgraph_pb2_grpc module
      • swh.graph.luigi package
        • swh.graph.luigi.compressed_graph module
        • swh.graph.luigi.subdataset module
        • swh.graph.luigi.topology module
        • swh.graph.luigi.utils module
      • swh.graph.cli module
      • swh.graph.client module
      • swh.graph.config module
      • swh.graph.download module
      • swh.graph.e2e_tests module
      • swh.graph.find_context module
      • swh.graph.grpc_server module
      • swh.graph.http_client module
      • swh.graph.http_naive_client module
      • swh.graph.http_rpc_server module
      • swh.graph.naive_client module
      • swh.graph.pytest_plugin module
      • swh.graph.shell module
      • swh.graph.webgraph module
  • swh.graphql
    • swh.graphql package
      • swh.graphql.backends package
        • swh.graphql.backends.archive module
        • swh.graphql.backends.search module
      • swh.graphql.client package
        • swh.graphql.client.view module
      • swh.graphql.errors package
        • swh.graphql.errors.errors module
        • swh.graphql.errors.handlers module
      • swh.graphql.middlewares package
        • swh.graphql.middlewares.logger module
      • swh.graphql.resolvers package
        • swh.graphql.resolvers.base_connection module
        • swh.graphql.resolvers.base_node module
        • swh.graphql.resolvers.content module
        • swh.graphql.resolvers.content_data module
        • swh.graphql.resolvers.directory module
        • swh.graphql.resolvers.directory_entry module
        • swh.graphql.resolvers.origin module
        • swh.graphql.resolvers.person module
        • swh.graphql.resolvers.release module
        • swh.graphql.resolvers.resolver_factory module
        • swh.graphql.resolvers.resolvers module
        • swh.graphql.resolvers.revision module
        • swh.graphql.resolvers.scalars module
        • swh.graphql.resolvers.search module
        • swh.graphql.resolvers.snapshot module
        • swh.graphql.resolvers.snapshot_branch module
        • swh.graphql.resolvers.swhid module
        • swh.graphql.resolvers.target module
        • swh.graphql.resolvers.visit module
        • swh.graphql.resolvers.visit_status module
      • swh.graphql.utils package
        • swh.graphql.utils.utils module
      • swh.graphql.app module
      • swh.graphql.gunicorn_config module
      • swh.graphql.server module
  • swh.indexer
    • Software Heritage - Indexer
    • Metadata workflow
    • SwhPkg Vocabulary
    • swh.indexer package
      • swh.indexer.metadata_dictionary package
        • swh.indexer.metadata_dictionary.base module
        • swh.indexer.metadata_dictionary.cff module
        • swh.indexer.metadata_dictionary.codemeta module
        • swh.indexer.metadata_dictionary.composer module
        • swh.indexer.metadata_dictionary.dart module
        • swh.indexer.metadata_dictionary.gitea module
        • swh.indexer.metadata_dictionary.github module
        • swh.indexer.metadata_dictionary.maven module
        • swh.indexer.metadata_dictionary.npm module
        • swh.indexer.metadata_dictionary.nuget module
        • swh.indexer.metadata_dictionary.python module
        • swh.indexer.metadata_dictionary.ruby module
        • swh.indexer.metadata_dictionary.utils module
      • swh.indexer.storage package
        • swh.indexer.storage.api package
        • swh.indexer.storage.converters module
        • swh.indexer.storage.db module
        • swh.indexer.storage.exc module
        • swh.indexer.storage.in_memory module
        • swh.indexer.storage.interface module
        • swh.indexer.storage.metrics module
        • swh.indexer.storage.model module
        • swh.indexer.storage.writer module
      • swh.indexer.bibtex module
      • swh.indexer.cli module
      • swh.indexer.codemeta module
      • swh.indexer.fossology_license module
      • swh.indexer.indexer module
      • swh.indexer.metadata module
      • swh.indexer.metadata_detector module
      • swh.indexer.mimetype module
      • swh.indexer.namespaces module
      • swh.indexer.origin_head module
      • swh.indexer.rehash module
    • Command-line interface
  • swh.journal
    • Software Heritage Journal clients
    • swh.journal package
      • swh.journal.writer package
        • swh.journal.writer.inmemory module
        • swh.journal.writer.interface module
        • swh.journal.writer.kafka module
        • swh.journal.writer.stream module
      • swh.journal.client module
      • swh.journal.pytest_plugin module
      • swh.journal.serializers module
  • swh.lister
    • Tutorial: list the content of your favorite forge in just a few steps
    • Tutorial: run a lister within docker-dev in just a few steps
    • Save a forge
    • swh.lister package
      • swh.lister.arch package
        • swh.lister.arch.lister module
        • swh.lister.arch.tasks module
      • swh.lister.aur package
        • swh.lister.aur.lister module
        • swh.lister.aur.tasks module
      • swh.lister.bioconductor package
        • swh.lister.bioconductor.lister module
        • swh.lister.bioconductor.tasks module
      • swh.lister.bitbucket package
        • swh.lister.bitbucket.lister module
        • swh.lister.bitbucket.tasks module
      • swh.lister.bower package
        • swh.lister.bower.lister module
        • swh.lister.bower.tasks module
      • swh.lister.cgit package
        • swh.lister.cgit.lister module
        • swh.lister.cgit.tasks module
      • swh.lister.conda package
        • swh.lister.conda.lister module
        • swh.lister.conda.tasks module
      • swh.lister.cpan package
        • swh.lister.cpan.lister module
        • swh.lister.cpan.tasks module
      • swh.lister.cran package
        • swh.lister.cran.lister module
        • swh.lister.cran.tasks module
      • swh.lister.crates package
        • swh.lister.crates.lister module
        • swh.lister.crates.tasks module
      • swh.lister.debian package
        • swh.lister.debian.lister module
        • swh.lister.debian.tasks module
      • swh.lister.dlang package
        • swh.lister.dlang.lister module
        • swh.lister.dlang.tasks module
      • swh.lister.elm package
        • swh.lister.elm.lister module
        • swh.lister.elm.tasks module
      • swh.lister.gitea package
        • swh.lister.gitea.lister module
        • swh.lister.gitea.tasks module
      • swh.lister.github package
        • swh.lister.github.lister module
        • swh.lister.github.tasks module
      • swh.lister.gitiles package
        • swh.lister.gitiles.lister module
        • swh.lister.gitiles.tasks module
      • swh.lister.gitlab package
        • swh.lister.gitlab.lister module
        • swh.lister.gitlab.tasks module
      • swh.lister.gitweb package
        • swh.lister.gitweb.lister module
        • swh.lister.gitweb.tasks module
      • swh.lister.gnu package
        • swh.lister.gnu.lister module
        • swh.lister.gnu.tasks module
        • swh.lister.gnu.tree module
      • swh.lister.gogs package
        • swh.lister.gogs.lister module
        • swh.lister.gogs.tasks module
      • swh.lister.golang package
        • swh.lister.golang.lister module
        • swh.lister.golang.tasks module
      • swh.lister.hackage package
        • swh.lister.hackage.lister module
        • swh.lister.hackage.tasks module
      • swh.lister.hex package
        • swh.lister.hex.lister module
        • swh.lister.hex.tasks module
      • swh.lister.julia package
        • swh.lister.julia.lister module
        • swh.lister.julia.tasks module
      • swh.lister.launchpad package
        • swh.lister.launchpad.lister module
        • swh.lister.launchpad.tasks module
      • swh.lister.maven package
        • swh.lister.maven.lister module
        • swh.lister.maven.tasks module
      • swh.lister.nixguix package
        • swh.lister.nixguix.lister module
        • swh.lister.nixguix.tasks module
      • swh.lister.npm package
        • swh.lister.npm.lister module
        • swh.lister.npm.tasks module
      • swh.lister.nuget package
        • swh.lister.nuget.lister module
        • swh.lister.nuget.tasks module
      • swh.lister.opam package
        • swh.lister.opam.lister module
        • swh.lister.opam.tasks module
      • swh.lister.packagist package
        • swh.lister.packagist.lister module
        • swh.lister.packagist.tasks module
      • swh.lister.pagure package
        • swh.lister.pagure.lister module
        • swh.lister.pagure.tasks module
      • swh.lister.phabricator package
        • swh.lister.phabricator.lister module
        • swh.lister.phabricator.tasks module
      • swh.lister.pubdev package
        • swh.lister.pubdev.lister module
        • swh.lister.pubdev.tasks module
      • swh.lister.puppet package
        • swh.lister.puppet.lister module
        • swh.lister.puppet.tasks module
      • swh.lister.pypi package
        • swh.lister.pypi.lister module
        • swh.lister.pypi.tasks module
      • swh.lister.rpm package
        • swh.lister.rpm.lister module
        • swh.lister.rpm.tasks module
      • swh.lister.rubygems package
        • swh.lister.rubygems.lister module
        • swh.lister.rubygems.tasks module
      • swh.lister.save_bulk package
        • swh.lister.save_bulk.lister module
        • swh.lister.save_bulk.tasks module
      • swh.lister.sourceforge package
        • swh.lister.sourceforge.lister module
        • swh.lister.sourceforge.tasks module
      • swh.lister.stagit package
        • swh.lister.stagit.lister module
        • swh.lister.stagit.tasks module
      • swh.lister.tuleap package
        • swh.lister.tuleap.lister module
        • swh.lister.tuleap.tasks module
      • swh.lister.cli module
      • swh.lister.pattern module
      • swh.lister.utils module
    • Command-line interface
  • swh.loader
    • swh.loader.core
      • VCS Loader Overview
      • Package Loader Tutorial
      • Package loader specifications
      • swh.loader.core package
        • swh.loader.core.converters module
        • swh.loader.core.loader module
        • swh.loader.core.metadata_fetchers module
        • swh.loader.core.nar module
        • swh.loader.core.tasks module
        • swh.loader.core.utils module
      • Command-line interface
    • swh.loader.bzr
      • Software Heritage - How Bazaar/Breezy works
      • swh.loader.bzr package
        • swh.loader.bzr.loader module
        • swh.loader.bzr.tasks module
    • Software Heritage - CVS loader
    • swh.loader.git
      • swh.loader.git package
        • swh.loader.git.base module
        • swh.loader.git.converters module
        • swh.loader.git.directory module
        • swh.loader.git.dumb module
        • swh.loader.git.from_disk module
        • swh.loader.git.loader module
        • swh.loader.git.tasks module
        • swh.loader.git.utils module
    • swh.loader.mercurial
      • swh.loader.mercurial package
        • swh.loader.mercurial.archive_extract module
        • swh.loader.mercurial.converters module
        • swh.loader.mercurial.directory module
        • swh.loader.mercurial.hgutil module
        • swh.loader.mercurial.identify module
        • swh.loader.mercurial.loader module
        • swh.loader.mercurial.tasks module
        • swh.loader.mercurial.utils module
    • swh.loader.metadata
      • swh.loader.metadata package
        • swh.loader.metadata.base module
        • swh.loader.metadata.cli module
        • swh.loader.metadata.gitea module
        • swh.loader.metadata.github module
        • swh.loader.metadata.journal_client module
    • swh.loader.svn
      • swh.loader.svn package
        • swh.loader.svn.converters module
        • swh.loader.svn.directory module
        • swh.loader.svn.exception module
        • swh.loader.svn.fast_crawler module
        • swh.loader.svn.loader module
        • swh.loader.svn.replay module
        • swh.loader.svn.svn_repo module
        • swh.loader.svn.svn_retry module
        • swh.loader.svn.tasks module
        • swh.loader.svn.utils module
  • swh.model
    • Data model
    • SoftWare Heritage persistent IDentifiers (SWHIDs)
    • Command-line interface
    • swh.model package
      • swh.model.fields package
        • swh.model.fields.compound module
        • swh.model.fields.hashes module
        • swh.model.fields.simple module
      • swh.model.cli module
      • swh.model.collections module
      • swh.model.discovery module
      • swh.model.exceptions module
      • swh.model.from_disk module
      • swh.model.git_objects module
      • swh.model.hashutil module
      • swh.model.hypothesis_strategies module
      • swh.model.merkle module
      • swh.model.model module
      • swh.model.swhids module
      • swh.model.toposort module
      • swh.model.validators module
  • swh.objstorage
    • Command-line interface
    • Winery backend
    • swh.objstorage namespace
      • swh.objstorage.api namespace
        • swh.objstorage.api.client module
        • swh.objstorage.api.server module
      • swh.objstorage.backends package
        • swh.objstorage.backends.seaweedfs package
        • swh.objstorage.backends.winery package
        • swh.objstorage.backends.azure module
        • swh.objstorage.backends.http module
        • swh.objstorage.backends.in_memory module
        • swh.objstorage.backends.libcloud module
        • swh.objstorage.backends.noop module
        • swh.objstorage.backends.pathslicing module
      • swh.objstorage.proxies namespace
        • swh.objstorage.proxies.readonly module
      • swh.objstorage.replayer package
        • swh.objstorage.replayer.cli module
        • swh.objstorage.replayer.replay module
      • swh.objstorage.cli module
      • swh.objstorage.constants module
      • swh.objstorage.exc module
      • swh.objstorage.factory module
      • swh.objstorage.interface module
      • swh.objstorage.multiplexer module
      • swh.objstorage.objstorage module
      • swh.objstorage.pytest_plugin module
      • swh.objstorage.utils module
  • swh.objstorage.replayer
    • Command-line interface
    • swh.objstorage.replayer package
      • swh.objstorage.replayer.cli module
      • swh.objstorage.replayer.replay module
  • swh.perfecthash
    • Benchmarks
    • Read Shard format
    • swh.perfecthash package
      • swh.perfecthash.build module
  • Software Heritage - Provenance
  • swh.scanner
    • Command-line interface
    • swh.scanner package
      • swh.scanner.dashboard package
        • swh.scanner.dashboard.dashboard module
      • swh.scanner.cli module
      • swh.scanner.config module
      • swh.scanner.data module
      • swh.scanner.exceptions module
      • swh.scanner.output module
      • swh.scanner.policy module
      • swh.scanner.scanner module
      • swh.scanner.setup_wizard module
  • swh.scheduler
    • Command-line interface
    • Software Heritage Scheduler Simulator
    • swh.scheduler package
      • swh.scheduler.api package
        • swh.scheduler.api.client module
        • swh.scheduler.api.serializers module
        • swh.scheduler.api.server module
      • swh.scheduler.celery_backend package
        • swh.scheduler.celery_backend.config module
        • swh.scheduler.celery_backend.first_visits module
        • swh.scheduler.celery_backend.pika_listener module
        • swh.scheduler.celery_backend.recurrent_visits module
        • swh.scheduler.celery_backend.runner module
        • swh.scheduler.celery_backend.utils module
      • swh.scheduler.cli package
        • swh.scheduler.cli.add_forge_now module
        • swh.scheduler.cli.admin module
        • swh.scheduler.cli.celery_monitor module
        • swh.scheduler.cli.config module
        • swh.scheduler.cli.journal module
        • swh.scheduler.cli.origin module
        • swh.scheduler.cli.origin_utils module
        • swh.scheduler.cli.simulator module
        • swh.scheduler.cli.task module
        • swh.scheduler.cli.task_type module
        • swh.scheduler.cli.utils module
      • swh.scheduler.simulator package
        • swh.scheduler.simulator.common module
        • swh.scheduler.simulator.origin_scheduler module
        • swh.scheduler.simulator.origins module
        • swh.scheduler.simulator.task_scheduler module
      • swh.scheduler.sql package
        • swh.scheduler.sql.upgrades package
      • swh.scheduler.backend module
      • swh.scheduler.cli_utils module
      • swh.scheduler.exc module
      • swh.scheduler.in_memory module
      • swh.scheduler.interface module
      • swh.scheduler.journal_client module
      • swh.scheduler.model module
      • swh.scheduler.pytest_plugin module
      • swh.scheduler.task module
      • swh.scheduler.utils module
  • swh.scrubber
    • Command-line interface
    • swh.scrubber package
      • swh.scrubber.base_checker module
      • swh.scrubber.cli module
      • swh.scrubber.db module
      • swh.scrubber.fixer module
      • swh.scrubber.journal_checker module
      • swh.scrubber.objstorage_checker module
      • swh.scrubber.origin_locator module
      • swh.scrubber.storage_checker module
      • swh.scrubber.utils module
  • swh.search
    • Command-line interface
    • Search Query Language
    • swh.search package
      • swh.search.api package
        • swh.search.api.client module
        • swh.search.api.server module
      • swh.search.cli module
      • swh.search.elasticsearch module
      • swh.search.exc module
      • swh.search.in_memory module
      • swh.search.interface module
      • swh.search.journal_client module
      • swh.search.metrics module
      • swh.search.translator module
      • swh.search.utils module
  • swh.storage
    • Extrinsic metadata specification
    • Object Masking
    • swh.storage package
      • swh.storage.algos package
        • swh.storage.algos.diff module
        • swh.storage.algos.dir_iterators module
        • swh.storage.algos.directory module
        • swh.storage.algos.discovery module
        • swh.storage.algos.origin module
        • swh.storage.algos.revisions_walker module
        • swh.storage.algos.snapshot module
      • swh.storage.api package
        • swh.storage.api.client module
        • swh.storage.api.serializers module
        • swh.storage.api.server module
      • swh.storage.cassandra package
        • swh.storage.cassandra.common module
        • swh.storage.cassandra.converters module
        • swh.storage.cassandra.cql module
        • swh.storage.cassandra.diagram module
        • swh.storage.cassandra.migrations module
        • swh.storage.cassandra.model module
        • swh.storage.cassandra.schema module
        • swh.storage.cassandra.storage module
      • swh.storage.postgresql package
        • swh.storage.postgresql.converters module
        • swh.storage.postgresql.db module
        • swh.storage.postgresql.storage module
      • swh.storage.proxies package
        • swh.storage.proxies.blocking package
        • swh.storage.proxies.masking package
        • swh.storage.proxies.buffer module
        • swh.storage.proxies.counter module
        • swh.storage.proxies.filter module
        • swh.storage.proxies.record_references module
        • swh.storage.proxies.retry module
        • swh.storage.proxies.tenacious module
        • swh.storage.proxies.validate module
      • swh.storage.backfill module
      • swh.storage.cli module
      • swh.storage.common module
      • swh.storage.exc module
      • swh.storage.fixer module
      • swh.storage.in_memory module
      • swh.storage.interface module
      • swh.storage.metrics module
      • swh.storage.migrate_extrinsic_metadata module
      • swh.storage.objstorage module
      • swh.storage.pytest_plugin module
      • swh.storage.replay module
      • swh.storage.utils module
      • swh.storage.writer module
    • Database schema
    • Cassandra migrations
    • Command-line interface
  • swh.vault
    • Getting started
    • Vault API Reference
    • swh.vault package
      • swh.vault.api package
        • swh.vault.api.client module
        • swh.vault.api.serializers module
        • swh.vault.api.server module
      • swh.vault.cookers package
        • swh.vault.cookers.base module
        • swh.vault.cookers.directory module
        • swh.vault.cookers.git_bare module
        • swh.vault.cookers.revision_flat module
        • swh.vault.cookers.revision_gitfast module
        • swh.vault.cookers.utils module
      • swh.vault.backend module
      • swh.vault.cache module
      • swh.vault.cli module
      • swh.vault.cooking_tasks module
      • swh.vault.exc module
      • swh.vault.in_memory_backend module
      • swh.vault.interface module
      • swh.vault.to_disk module
    • Command-line interface
  • swh.web
    • Developers Information
    • swh-web API URLs
    • URI scheme for swh-web Browse application
    • URI scheme for SoftWare Hash IDentifiers (SWHIDs)
    • Miscellaneous URLs
    • swh.web package
      • swh.web.add_forge_now package
        • swh.web.add_forge_now.admin_views module
        • swh.web.add_forge_now.api_views module
        • swh.web.add_forge_now.apps module
        • swh.web.add_forge_now.models module
        • swh.web.add_forge_now.signal_receivers module
        • swh.web.add_forge_now.urls module
        • swh.web.add_forge_now.utils module
        • swh.web.add_forge_now.views module
      • swh.web.admin package
        • swh.web.admin.apps module
        • swh.web.admin.urls module
      • swh.web.alter package
        • swh.web.alter.templatetags package
        • swh.web.alter.apps module
        • swh.web.alter.emails module
        • swh.web.alter.forms module
        • swh.web.alter.models module
        • swh.web.alter.urls module
        • swh.web.alter.utils module
        • swh.web.alter.views module
      • swh.web.api package
        • swh.web.api.views package
        • swh.web.api.apidoc module
        • swh.web.api.apiresponse module
        • swh.web.api.apiurls module
        • swh.web.api.parsers module
        • swh.web.api.renderers module
        • swh.web.api.throttling module
        • swh.web.api.urls module
        • swh.web.api.utils module
      • swh.web.archive_coverage package
        • swh.web.archive_coverage.urls module
        • swh.web.archive_coverage.views module
      • swh.web.auth package
        • swh.web.auth.apps module
        • swh.web.auth.models module
        • swh.web.auth.urls module
        • swh.web.auth.utils module
        • swh.web.auth.views module
      • swh.web.badges package
        • swh.web.badges.urls module
      • swh.web.banners package
        • swh.web.banners.urls module
        • swh.web.banners.views module
      • swh.web.browse package
        • swh.web.browse.views package
        • swh.web.browse.browseurls module
        • swh.web.browse.identifiers module
        • swh.web.browse.snapshot_context module
        • swh.web.browse.urls module
        • swh.web.browse.utils module
      • swh.web.client package
        • swh.web.client.cli module
        • swh.web.client.client module
      • swh.web.deposit package
        • swh.web.deposit.urls module
      • swh.web.inbound_email package
        • swh.web.inbound_email.management package
        • swh.web.inbound_email.apps module
        • swh.web.inbound_email.handle_message module
        • swh.web.inbound_email.signals module
        • swh.web.inbound_email.urls module
        • swh.web.inbound_email.utils module
        • swh.web.inbound_email.views module
      • swh.web.jslicenses package
        • swh.web.jslicenses.urls module
      • swh.web.mailmap package
        • swh.web.mailmap.management package
        • swh.web.mailmap.apps module
        • swh.web.mailmap.models module
        • swh.web.mailmap.urls module
        • swh.web.mailmap.views module
      • swh.web.metrics package
        • swh.web.metrics.prometheus module
        • swh.web.metrics.urls module
        • swh.web.metrics.views module
      • swh.web.provenance package
        • swh.web.provenance.api_views module
        • swh.web.provenance.apps module
        • swh.web.provenance.urls module
      • swh.web.save_bulk package
        • swh.web.save_bulk.api_views module
        • swh.web.save_bulk.apps module
        • swh.web.save_bulk.models module
        • swh.web.save_bulk.urls module
        • swh.web.save_bulk.views module
      • swh.web.save_code_now package
        • swh.web.save_code_now.management package
        • swh.web.save_code_now.admin_views module
        • swh.web.save_code_now.api_views module
        • swh.web.save_code_now.apps module
        • swh.web.save_code_now.models module
        • swh.web.save_code_now.origin_save module
        • swh.web.save_code_now.origin_visit_webhook module
        • swh.web.save_code_now.urls module
        • swh.web.save_code_now.views module
      • swh.web.save_origin_webhooks package
        • swh.web.save_origin_webhooks.bitbucket module
        • swh.web.save_origin_webhooks.generic_receiver module
        • swh.web.save_origin_webhooks.gitea module
        • swh.web.save_origin_webhooks.github module
        • swh.web.save_origin_webhooks.gitlab module
        • swh.web.save_origin_webhooks.sourceforge module
        • swh.web.save_origin_webhooks.urls module
      • swh.web.utils package
        • swh.web.utils.management package
        • swh.web.utils.archive module
        • swh.web.utils.citation module
        • swh.web.utils.converters module
        • swh.web.utils.exc module
        • swh.web.utils.highlightjs module
        • swh.web.utils.identifiers module
        • swh.web.utils.middlewares module
        • swh.web.utils.origin_visits module
        • swh.web.utils.query module
        • swh.web.utils.swh_templatetags module
        • swh.web.utils.typing module
        • swh.web.utils.url_path_converters module
        • swh.web.utils.urlsindex module
      • swh.web.vault package
        • swh.web.vault.api_views module
        • swh.web.vault.urls module
      • swh.web.webapp package
        • swh.web.webapp.urls module
      • swh.web.config module
      • swh.web.gunicorn_config module
      • swh.web.manage module
      • swh.web.urls module
  • swh.web.client
  • swh.webhooks
    • swh.webhooks package
      • swh.webhooks.cli module
      • swh.webhooks.interface module
      • swh.webhooks.journal_client module
      • swh.webhooks.svix_retry module
      • swh.webhooks.utils module
  • Development
  • API reference
  • Software Heritage - Derived Datasets

Software Heritage - Derived Datasets#

Tooling to generate various datasets from the Software Heritage archive; based on the in-memory compressed graph representation.

Overview

  • Luigi workflows
  • Command-line interface
  • swh.datasets package

previous

swh.counters.redis module

next

Luigi workflows
Edit

This Page

  • Show Source

© Copyright 2015-2024 The Software Heritage developers.

Created using Sphinx 7.4.7.

Built with the PyData Sphinx Theme 0.16.1.