Skip to main content
Ctrl
+
K
Site Navigation
Development
API reference
Usage
Infrastructure
GitLab
PyPI
System Status
Software Heritage Homepage
Site Navigation
Development
API reference
Usage
Infrastructure
GitLab
PyPI
System Status
Software Heritage Homepage
Section Navigation
swh.alter
swh.alter package
swh.alter.cli module
swh.auth
Command-line interface
Django components
swh.auth package
swh.auth.django package
swh.auth.django.backends module
swh.auth.django.middlewares module
swh.auth.django.models module
swh.auth.django.utils module
swh.auth.django.views module
swh.auth.starlette package
swh.auth.starlette.backends module
swh.auth.cli module
swh.auth.keycloak module
swh.auth.pytest_plugin module
swh.auth.utils module
swh.core
Command-line interface
Common database utilities
swh.core package
swh.core.api package
swh.core.api.asynchronous module
swh.core.api.classes module
swh.core.api.gunicorn_config module
swh.core.api.negotiation module
swh.core.api.serializers module
swh.core.cli package
swh.core.cli.db module
swh.core.db package
swh.core.db.common module
swh.core.db.db_utils module
swh.core.db.pytest_plugin module
swh.core.github package
swh.core.github.pytest_plugin module
swh.core.github.utils module
swh.core.api_async module
swh.core.collections module
swh.core.config module
swh.core.logger module
swh.core.logging module
swh.core.pytest_plugin module
swh.core.retry module
swh.core.sentry module
swh.core.statsd module
swh.core.tarball module
swh.core.utils module
swh.counters
swh.counters package
swh.counters.api package
swh.counters.api.client module
swh.counters.api.server module
swh.counters.cli module
swh.counters.history module
swh.counters.in_memory module
swh.counters.interface module
swh.counters.journal_client module
swh.counters.kafka_client module
swh.counters.redis module
swh.dataset
Software Heritage Graph Dataset
Dataset
Relational schema
Setup on Amazon Athena
Setup on Azure Databricks
Exporting a dataset
Exporting a subdataset
swh.deposit
Deposit API
User Manual
API Documentation
Service document
Create deposit
Update content
Update metadata
Retrieve status
Display content
Deposit metadata
Use cases
Register account
Deposit internals
Running swh-deposit locally
Production deployment
Authentication
Loading workflow
Specifications
Loading specification
Protocol reference
The metadata-only deposit
swh.deposit package
swh.deposit.api package
swh.deposit.api.private package
swh.deposit.api.checks module
swh.deposit.api.collection module
swh.deposit.api.common module
swh.deposit.api.content module
swh.deposit.api.converters module
swh.deposit.api.edit module
swh.deposit.api.edit_media module
swh.deposit.api.service_document module
swh.deposit.api.state module
swh.deposit.api.sword_edit module
swh.deposit.api.urls module
swh.deposit.api.utils module
swh.deposit.cli package
swh.deposit.cli.admin module
swh.deposit.cli.client module
swh.deposit.fixtures package
swh.deposit.loader package
swh.deposit.loader.checker module
swh.deposit.loader.tasks module
swh.deposit.templates package
swh.deposit.templates.deposit package
swh.deposit.tests_migration package
swh.deposit.apps module
swh.deposit.auth module
swh.deposit.client module
swh.deposit.config module
swh.deposit.errors module
swh.deposit.exception module
swh.deposit.gunicorn_config module
swh.deposit.manage module
swh.deposit.models module
swh.deposit.parsers module
swh.deposit.urls module
swh.deposit.utils module
Command-line interface
swh.fuse
Command-line interface
Configuration
Design notes
Tutorial
swh.fuse package
swh.fuse.fs namespace
swh.fuse.fs.artifact module
swh.fuse.fs.entry module
swh.fuse.fs.mountpoint module
swh.fuse.cache module
swh.fuse.cli module
swh.fuse.fuse module
swh.graph
Quickstart
Graph Querying HTTP API
Using the GRPC API
Using the Java API
Memory & Performance tuning
Graph compression
Command-line interface
Docker environment
git2graph
Example dataset
swh.graph package
swh.graph.example_dataset package
swh.graph.example_dataset.generate_dataset module
swh.graph.grpc namespace
swh.graph.grpc.swhgraph_pb2 module
swh.graph.grpc.swhgraph_pb2_grpc module
swh.graph.luigi package
swh.graph.luigi.blobs_datasets module
swh.graph.luigi.compressed_graph module
swh.graph.luigi.file_names module
swh.graph.luigi.origin_contributors module
swh.graph.luigi.provenance module
swh.graph.luigi.shell module
swh.graph.luigi.topology module
swh.graph.luigi.utils module
swh.graph.cli module
swh.graph.client module
swh.graph.config module
swh.graph.grpc_server module
swh.graph.http_client module
swh.graph.http_naive_client module
swh.graph.http_rpc_server module
swh.graph.naive_client module
swh.graph.pytest_plugin module
swh.graph.webgraph module
swh.graphql
swh.graphql package
swh.graphql.backends package
swh.graphql.backends.archive module
swh.graphql.backends.search module
swh.graphql.client package
swh.graphql.client.view module
swh.graphql.errors package
swh.graphql.errors.errors module
swh.graphql.errors.handlers module
swh.graphql.middlewares package
swh.graphql.middlewares.logger module
swh.graphql.resolvers package
swh.graphql.resolvers.base_connection module
swh.graphql.resolvers.base_node module
swh.graphql.resolvers.content module
swh.graphql.resolvers.directory module
swh.graphql.resolvers.directory_entry module
swh.graphql.resolvers.origin module
swh.graphql.resolvers.person module
swh.graphql.resolvers.release module
swh.graphql.resolvers.resolver_factory module
swh.graphql.resolvers.resolvers module
swh.graphql.resolvers.revision module
swh.graphql.resolvers.scalars module
swh.graphql.resolvers.search module
swh.graphql.resolvers.snapshot module
swh.graphql.resolvers.snapshot_branch module
swh.graphql.resolvers.swhid module
swh.graphql.resolvers.target module
swh.graphql.resolvers.visit module
swh.graphql.resolvers.visit_status module
swh.graphql.utils package
swh.graphql.utils.utils module
swh.graphql.app module
swh.graphql.server module
swh.indexer
swh-indexer
Hacking on swh-indexer
Metadata workflow
SwhPkg Vocabulary
swh.indexer package
swh.indexer.metadata_dictionary package
swh.indexer.metadata_dictionary.base module
swh.indexer.metadata_dictionary.cff module
swh.indexer.metadata_dictionary.codemeta module
swh.indexer.metadata_dictionary.composer module
swh.indexer.metadata_dictionary.dart module
swh.indexer.metadata_dictionary.gitea module
swh.indexer.metadata_dictionary.github module
swh.indexer.metadata_dictionary.maven module
swh.indexer.metadata_dictionary.npm module
swh.indexer.metadata_dictionary.nuget module
swh.indexer.metadata_dictionary.python module
swh.indexer.metadata_dictionary.ruby module
swh.indexer.metadata_dictionary.utils module
swh.indexer.storage package
swh.indexer.storage.api package
swh.indexer.storage.converters module
swh.indexer.storage.db module
swh.indexer.storage.exc module
swh.indexer.storage.in_memory module
swh.indexer.storage.interface module
swh.indexer.storage.metrics module
swh.indexer.storage.model module
swh.indexer.storage.writer module
swh.indexer.cli module
swh.indexer.codemeta module
swh.indexer.fossology_license module
swh.indexer.indexer module
swh.indexer.journal_client module
swh.indexer.metadata module
swh.indexer.metadata_detector module
swh.indexer.mimetype module
swh.indexer.namespaces module
swh.indexer.origin_head module
swh.indexer.rehash module
swh.indexer.tasks module
Command-line interface
swh.journal
Software Heritage Journal clients
swh.journal package
swh.journal.writer package
swh.journal.writer.inmemory module
swh.journal.writer.interface module
swh.journal.writer.kafka module
swh.journal.writer.stream module
swh.journal.client module
swh.journal.pytest_plugin module
swh.journal.serializers module
swh.lister
Tutorial: list the content of your favorite forge in just a few steps
Tutorial: run a lister within docker-dev in just a few steps
Save a forge
swh.lister package
swh.lister.arch package
swh.lister.arch.lister module
swh.lister.arch.tasks module
swh.lister.aur package
swh.lister.aur.lister module
swh.lister.aur.tasks module
swh.lister.bitbucket package
swh.lister.bitbucket.lister module
swh.lister.bitbucket.tasks module
swh.lister.bower package
swh.lister.bower.lister module
swh.lister.bower.tasks module
swh.lister.cgit package
swh.lister.cgit.lister module
swh.lister.cgit.tasks module
swh.lister.conda package
swh.lister.conda.lister module
swh.lister.conda.tasks module
swh.lister.cpan package
swh.lister.cpan.lister module
swh.lister.cpan.tasks module
swh.lister.cran package
swh.lister.cran.lister module
swh.lister.cran.tasks module
swh.lister.crates package
swh.lister.crates.lister module
swh.lister.crates.tasks module
swh.lister.debian package
swh.lister.debian.lister module
swh.lister.debian.tasks module
swh.lister.fedora package
swh.lister.fedora.lister module
swh.lister.fedora.tasks module
swh.lister.gitea package
swh.lister.gitea.lister module
swh.lister.gitea.tasks module
swh.lister.github package
swh.lister.github.lister module
swh.lister.github.tasks module
swh.lister.github.utils module
swh.lister.gitlab package
swh.lister.gitlab.lister module
swh.lister.gitlab.tasks module
swh.lister.gnu package
swh.lister.gnu.lister module
swh.lister.gnu.tasks module
swh.lister.gnu.tree module
swh.lister.gogs package
swh.lister.gogs.lister module
swh.lister.gogs.tasks module
swh.lister.golang package
swh.lister.golang.lister module
swh.lister.golang.tasks module
swh.lister.hackage package
swh.lister.hackage.lister module
swh.lister.hackage.tasks module
swh.lister.hex package
swh.lister.hex.lister module
swh.lister.hex.tasks module
swh.lister.launchpad package
swh.lister.launchpad.lister module
swh.lister.launchpad.tasks module
swh.lister.maven package
swh.lister.maven.lister module
swh.lister.maven.tasks module
swh.lister.nixguix package
swh.lister.nixguix.lister module
swh.lister.nixguix.tasks module
swh.lister.npm package
swh.lister.npm.lister module
swh.lister.npm.tasks module
swh.lister.nuget package
swh.lister.nuget.lister module
swh.lister.nuget.tasks module
swh.lister.opam package
swh.lister.opam.lister module
swh.lister.opam.tasks module
swh.lister.packagist package
swh.lister.packagist.lister module
swh.lister.packagist.tasks module
swh.lister.phabricator package
swh.lister.phabricator.lister module
swh.lister.phabricator.tasks module
swh.lister.pubdev package
swh.lister.pubdev.lister module
swh.lister.pubdev.tasks module
swh.lister.puppet package
swh.lister.puppet.lister module
swh.lister.puppet.tasks module
swh.lister.pypi package
swh.lister.pypi.lister module
swh.lister.pypi.tasks module
swh.lister.rubygems package
swh.lister.rubygems.lister module
swh.lister.rubygems.tasks module
swh.lister.sourceforge package
swh.lister.sourceforge.lister module
swh.lister.sourceforge.tasks module
swh.lister.tuleap package
swh.lister.tuleap.lister module
swh.lister.tuleap.tasks module
swh.lister.cli module
swh.lister.pattern module
swh.lister.utils module
Command-line interface
swh.loader
swh.loader.core
VCS Loader Overview
Package Loader Tutorial
Package loader specifications
swh.loader.core package
swh.loader.core.converters module
swh.loader.core.discovery module
swh.loader.core.loader module
swh.loader.core.metadata_fetchers module
swh.loader.core.nar module
swh.loader.core.tasks module
swh.loader.core.utils module
Command-line interface
swh.loader.bzr
Software Heritage - How Bazaar/Breezy works
swh.loader.bzr package
swh.loader.bzr.loader module
swh.loader.bzr.tasks module
Software Heritage - CVS loader
swh.loader.git
swh.loader.git package
swh.loader.git.base module
swh.loader.git.converters module
swh.loader.git.dumb module
swh.loader.git.from_disk module
swh.loader.git.loader module
swh.loader.git.tasks module
swh.loader.git.utils module
swh.loader.mercurial
swh.loader.mercurial package
swh.loader.mercurial.archive_extract module
swh.loader.mercurial.converters module
swh.loader.mercurial.hgutil module
swh.loader.mercurial.identify module
swh.loader.mercurial.loader module
swh.loader.mercurial.tasks module
swh.loader.mercurial.utils module
swh.loader.metadata
swh.loader.metadata package
swh.loader.metadata.base module
swh.loader.metadata.cli module
swh.loader.metadata.gitea module
swh.loader.metadata.github module
swh.loader.metadata.journal_client module
swh.loader.svn
swh.loader.svn package
swh.loader.svn.converters module
swh.loader.svn.exception module
swh.loader.svn.fast_crawler module
swh.loader.svn.loader module
swh.loader.svn.replay module
swh.loader.svn.svn_repo module
swh.loader.svn.svn_retry module
swh.loader.svn.tasks module
swh.loader.svn.utils module
swh.model
Data model
SoftWare Heritage persistent IDentifiers (SWHIDs)
Command-line interface
swh.model package
swh.model.fields package
swh.model.fields.compound module
swh.model.fields.hashes module
swh.model.fields.simple module
swh.model.cli module
swh.model.collections module
swh.model.exceptions module
swh.model.from_disk module
swh.model.git_objects module
swh.model.hashutil module
swh.model.hypothesis_strategies module
swh.model.identifiers module
swh.model.merkle module
swh.model.model module
swh.model.swhids module
swh.model.toposort module
swh.model.validators module
swh.objstorage
Command-line interface
Winery backend
swh.objstorage package
swh.objstorage.api package
swh.objstorage.api.client module
swh.objstorage.api.server module
swh.objstorage.backends package
swh.objstorage.backends.seaweedfs package
swh.objstorage.backends.winery package
swh.objstorage.backends.azure module
swh.objstorage.backends.generator module
swh.objstorage.backends.http module
swh.objstorage.backends.in_memory module
swh.objstorage.backends.libcloud module
swh.objstorage.backends.noop module
swh.objstorage.backends.pathslicing module
swh.objstorage.multiplexer package
swh.objstorage.multiplexer.filter package
swh.objstorage.multiplexer.multiplexer_objstorage module
swh.objstorage.replayer package
swh.objstorage.replayer.cli module
swh.objstorage.replayer.replay module
swh.objstorage.cli module
swh.objstorage.constants module
swh.objstorage.exc module
swh.objstorage.factory module
swh.objstorage.interface module
swh.objstorage.objstorage module
swh.objstorage.utils module
swh.objstorage.replayer
Command-line interface
swh.objstorage.replayer package
swh.objstorage.replayer.cli module
swh.objstorage.replayer.replay module
swh.perfecthash
Benchmarks
Read Shard format
swh.perfecthash package
swh.perfecthash.build module
swh.scanner
Command-line interface
swh.scanner package
swh.scanner.dashboard package
swh.scanner.dashboard.dashboard module
swh.scanner.backend module
swh.scanner.cli module
swh.scanner.client module
swh.scanner.data module
swh.scanner.db module
swh.scanner.exceptions module
swh.scanner.output module
swh.scanner.plot module
swh.scanner.policy module
swh.scanner.scanner module
swh.scheduler
Command-line interface
Software Heritage Scheduler Simulator
swh.scheduler package
swh.scheduler.api package
swh.scheduler.api.client module
swh.scheduler.api.serializers module
swh.scheduler.api.server module
swh.scheduler.celery_backend package
swh.scheduler.celery_backend.config module
swh.scheduler.celery_backend.pika_listener module
swh.scheduler.celery_backend.recurrent_visits module
swh.scheduler.celery_backend.runner module
swh.scheduler.cli package
swh.scheduler.cli.add_forge_now module
swh.scheduler.cli.admin module
swh.scheduler.cli.celery_monitor module
swh.scheduler.cli.journal module
swh.scheduler.cli.origin module
swh.scheduler.cli.simulator module
swh.scheduler.cli.task module
swh.scheduler.cli.task_type module
swh.scheduler.cli.test_cli_utils module
swh.scheduler.cli.utils module
swh.scheduler.simulator package
swh.scheduler.simulator.common module
swh.scheduler.simulator.origin_scheduler module
swh.scheduler.simulator.origins module
swh.scheduler.simulator.task_scheduler module
swh.scheduler.sql package
swh.scheduler.sql.upgrades package
swh.scheduler.backend module
swh.scheduler.cli_utils module
swh.scheduler.exc module
swh.scheduler.interface module
swh.scheduler.journal_client module
swh.scheduler.model module
swh.scheduler.pytest_plugin module
swh.scheduler.task module
swh.scheduler.utils module
swh.scrubber
Command-line interface
swh.scrubber package
swh.scrubber.cli module
swh.scrubber.db module
swh.scrubber.fixer module
swh.scrubber.journal_checker module
swh.scrubber.origin_locator module
swh.scrubber.storage_checker module
swh.scrubber.utils module
swh.search
Command-line interface
Search Query Language
swh.search package
swh.search.api package
swh.search.api.client module
swh.search.api.server module
swh.search.cli module
swh.search.elasticsearch module
swh.search.exc module
swh.search.in_memory module
swh.search.interface module
swh.search.journal_client module
swh.search.metrics module
swh.search.translator module
swh.search.utils module
swh.spdx
swh.spdx package
swh.spdx.bar module
swh.spdx.cli module
swh.storage
Command-line interface
swh.storage package
swh.storage.algos package
swh.storage.algos.diff module
swh.storage.algos.dir_iterators module
swh.storage.algos.directory module
swh.storage.algos.origin module
swh.storage.algos.revisions_walker module
swh.storage.algos.snapshot module
swh.storage.api package
swh.storage.api.client module
swh.storage.api.serializers module
swh.storage.api.server module
swh.storage.cassandra package
swh.storage.cassandra.common module
swh.storage.cassandra.converters module
swh.storage.cassandra.cql module
swh.storage.cassandra.model module
swh.storage.cassandra.schema module
swh.storage.cassandra.storage module
swh.storage.postgresql package
swh.storage.postgresql.converters module
swh.storage.postgresql.db module
swh.storage.postgresql.storage module
swh.storage.proxies package
swh.storage.proxies.buffer module
swh.storage.proxies.counter module
swh.storage.proxies.filter module
swh.storage.proxies.record_references module
swh.storage.proxies.retry module
swh.storage.proxies.tenacious module
swh.storage.proxies.validate module
swh.storage.backfill module
swh.storage.cli module
swh.storage.common module
swh.storage.exc module
swh.storage.fixer module
swh.storage.in_memory module
swh.storage.interface module
swh.storage.metrics module
swh.storage.migrate_extrinsic_metadata module
swh.storage.objstorage module
swh.storage.pytest_plugin module
swh.storage.replay module
swh.storage.utils module
swh.storage.writer module
swh.vault
Getting started
Vault API Reference
swh.vault package
swh.vault.api package
swh.vault.api.client module
swh.vault.api.serializers module
swh.vault.api.server module
swh.vault.cookers package
swh.vault.cookers.base module
swh.vault.cookers.directory module
swh.vault.cookers.git_bare module
swh.vault.cookers.revision_flat module
swh.vault.cookers.revision_gitfast module
swh.vault.cookers.utils module
swh.vault.backend module
swh.vault.cache module
swh.vault.cli module
swh.vault.cooking_tasks module
swh.vault.exc module
swh.vault.in_memory_backend module
swh.vault.interface module
swh.vault.to_disk module
Command-line interface
swh.web
Developers Information
swh-web API URLs
URI scheme for swh-web Browse application
URI scheme for SoftWare Heritage IDentifiers (SWHIDs)
Miscellaneous URLs
swh.web package
swh.web.add_forge_now package
swh.web.add_forge_now.admin_views module
swh.web.add_forge_now.api_views module
swh.web.add_forge_now.apps module
swh.web.add_forge_now.models module
swh.web.add_forge_now.signal_receivers module
swh.web.add_forge_now.urls module
swh.web.add_forge_now.views module
swh.web.api package
swh.web.api.views package
swh.web.api.apidoc module
swh.web.api.apiresponse module
swh.web.api.apiurls module
swh.web.api.renderers module
swh.web.api.throttling module
swh.web.api.urls module
swh.web.api.utils module
swh.web.archive_coverage package
swh.web.archive_coverage.urls module
swh.web.archive_coverage.views module
swh.web.auth package
swh.web.auth.apps module
swh.web.auth.models module
swh.web.auth.urls module
swh.web.auth.utils module
swh.web.auth.views module
swh.web.badges package
swh.web.badges.urls module
swh.web.banners package
swh.web.banners.urls module
swh.web.banners.views module
swh.web.browse package
swh.web.browse.views package
swh.web.browse.browseurls module
swh.web.browse.identifiers module
swh.web.browse.snapshot_context module
swh.web.browse.urls module
swh.web.browse.utils module
swh.web.client package
swh.web.client.cli module
swh.web.client.client module
swh.web.deposit package
swh.web.deposit.urls module
swh.web.inbound_email package
swh.web.inbound_email.management package
swh.web.inbound_email.apps module
swh.web.inbound_email.signals module
swh.web.inbound_email.utils module
swh.web.jslicenses package
swh.web.jslicenses.urls module
swh.web.mailmap package
swh.web.mailmap.management package
swh.web.mailmap.apps module
swh.web.mailmap.models module
swh.web.mailmap.urls module
swh.web.mailmap.views module
swh.web.metrics package
swh.web.metrics.prometheus module
swh.web.metrics.urls module
swh.web.metrics.views module
swh.web.save_code_now package
swh.web.save_code_now.management package
swh.web.save_code_now.admin_views module
swh.web.save_code_now.api_views module
swh.web.save_code_now.apps module
swh.web.save_code_now.models module
swh.web.save_code_now.origin_save module
swh.web.save_code_now.urls module
swh.web.save_code_now.views module
swh.web.save_origin_webhooks package
swh.web.save_origin_webhooks.bitbucket module
swh.web.save_origin_webhooks.generic_receiver module
swh.web.save_origin_webhooks.gitea module
swh.web.save_origin_webhooks.github module
swh.web.save_origin_webhooks.gitlab module
swh.web.save_origin_webhooks.sourceforge module
swh.web.save_origin_webhooks.urls module
swh.web.utils package
swh.web.utils.management package
swh.web.utils.archive module
swh.web.utils.converters module
swh.web.utils.exc module
swh.web.utils.highlightjs module
swh.web.utils.identifiers module
swh.web.utils.middlewares module
swh.web.utils.origin_visits module
swh.web.utils.query module
swh.web.utils.swh_templatetags module
swh.web.utils.typing module
swh.web.utils.urlsindex module
swh.web.vault package
swh.web.vault.api_views module
swh.web.vault.urls module
swh.web.webapp package
swh.web.webapp.urls module
swh.web.config module
swh.web.gunicorn_config module
swh.web.manage module
swh.web.urls module
swh.web.client
swh.web.client package
swh.web.client.cli module
swh.web.client.client module
Development
swh.deposit package
swh.deposit.tests_migration package
swh.deposit.tests_migration package
#
Module contents:
Edit
Show Source